我们的新技术的研究议程概述金宝博娱乐

||文件

技术议程概述今天,我们发布MIRI的技术研究议程的一个新的概述,“金宝博娱乐对齐超级智能与人类利益:技术研究议程金宝博娱乐“,由内特·苏亚雷斯和贝尼亚Fallenstein。首选之地讨论这个报告这里

报告一开始:

这已经使人类塑造世界的特点是没有力量,而不是速度,而是智慧。除非灾难,它似乎很清楚,在人工智能的进步将有一天会创建达到或超过人类水平的一般智力,代理,这将有可能导致系统最终发展这是被意义上的“超智”“金宝博官方比在几乎每一个领域最好的人脑”(博斯特伦2014)更聪明?

......为了确保更聪明,比人类智力的发展有对人类产生积极的影响,我们必须满足三个严峻的挑战:怎样才能创建将可靠地追求它被赋予了目标的代理?我们怎样才能正式指定有益的目标是什么?我们如何才能确保此代理将协助并为他们改善其设计与它的程序员合作,因为在最初的版本错误是不可避免的?

该议程将讨论技术攻关今天,作者认为会更容易面对在未来这三大挑战,金宝博娱乐这是容易处理。第2至第4鼓励并讨论了六个研究主题,我们认为是相关的这些挑战。金宝博娱乐第5节讨论我们的特别选择这六个方面的原因。

我们呼吁一个更聪明,比人类系统,可靠地奉行“与人类的利益一金宝博官方致”有益目标或简单的“对齐”。要成为信心的代理以这种方式排列的,即只是似乎是一个实际的实施,以满足上面是不够的概述的挑战。还需要获得为什么信心是有道理了坚实的理论认识。该技术议程认为,今天的基础研究平易近人,这将使它更容易开发对齐系统在未来有,并描述了其中的一些问题正在进行的工作金宝博娱乐。金宝博官方

这份报告还指进入每一个主要的研究课题方面更详细的六个重点支持的文件:金宝博娱乐

  1. 可以驯服
  2. 对理想化的决策理论
  3. 推理的逻辑下的不确定性问题
  4. Vingean反思:自我改进剂可靠的推理
  5. 形式化现实世界模型的两个问题
  6. 值的学习问题

更新2016年7月15日:我们的概述文件被安排在施普林格文集被释放该技术奇点:管理之旅在2017年,根据新的称号“代理基础对准机器智能与人类利益。”新标题是为了帮助区分,我们将在与代理基础议程并行工作的另一项研究议程这个议程:“金宝博娱乐价值取向为先进的机器学习系统金宝博官方“。