它是什么?: 2016年5月5日,尤多科夫斯基在斯坦福大学演讲符号系统杰出演讲者金宝博官方系列。

说话完整的视频

成绩单完整(包括问答)部分(包括选择幻灯片)

幻灯片没有转换高质量的低质量的

幻灯片与转换高质量的低质量的

摘要如果我们能够制造出足够先进的机器智能,我们应该把它们指向什么目标?边境问题在这个问题上不太开放,”机器人不得伤害人类,也人类的伤害,而坐视不理”,“如果你能正式指定任意的偏好聪明和强大的代理,你能让它安全地移动其中一个草莓放在一个盘子?”本次演讲将讨论AI对齐中的一些开放的技术问题,可能导致这些问题难以解决的困难,以及它们所适用的更大的图景;以及在这个相对较新的领域工作的感觉。


这里收集了学习更多的笔记、参考资料和资源。


代理及其效用函数

关于比人类更聪明的人工智能这一主题,最好的概括介绍似乎是尼克•博斯特罗姆(Nick Bostrom)的文章超智佩顿和斯图亚特·阿姆斯特朗的比我们聪明.要了解更简短的解释,请参阅我最近的客座文章EconLog。

更完整的斯图尔特·罗素语录(从Edge.org):


[担心人工智能灾难]有许多不令人信服的论点——尤其是那些涉及到摩尔定律的直接应用或意识和邪恶意图的自发出现的论点。许多参与这次对话的人似乎是在回应这些论点,而忽略了奥莫亨德罗、博斯特罗姆等人提出的更有实质意义的论点。

我们主要关注的不是令人毛骨悚然的涌现意识,而是创造意识的能力高质量的决策.在这里,质量指的是所采取行动的预期结果效用,而效用函数大概是由人类设计师指定的。现在我们有一个问题:

  1. 效用函数可能与人类的价值不完全一致,而人类的价值(充其量)是很难确定的。
  2. 任何有足够能力的智能系统都会更愿意确保自己的持续存在,并获取物理和计算资源金宝博官方——不是为了它们自己,而是为了成功地完成分配给它的任务。

一种金宝博官方优化函数的系统n变量,其中目标取决于大小的子集k<n,通常会将剩余的无约束变量设为极值;如果其中一个无约束变量是我们真正关心的,那么找到的解决方案可能是非常不可取的。这本质上是一个古老的故事,关于灯中的精灵,或巫师的学徒,或迈达斯国王:你得到的正是你想要的,而不是你想要的。


艾萨克·阿西莫夫在1942年的短篇小说《机器人三定律》中介绍了机器人三定律。搪塞.”

彼得·诺维格和斯图尔特·罗素的引语出自人工智能:一种现代方法这本书是人工智能领域最好的本科教材。

我给出的关于效用函数的论据是标准的,可以在Poole和Mackworth的例子中找到人工智能:计算代理的基础.关于规范理性,我在合理性:从AI到僵尸(例如,阿莱悖论Zut阿莱!).


一些人工智能对齐子问题

我对低影响药剂的讨论借鉴了Taylor等人即将发表的研究提案:金宝博娱乐高级机器学习系统的值对齐金宝博官方关于概述,请参见低的影响Arbital。

在Soares等人的“关机问题”中讨论了暂停问题(称为“关机问题”)。可订正稳定的政策建议来自泰勒通过某些渠道使数量最大化而忽略效果

坡对机器象棋可能性的反驳来自于1836年的一篇文章Maelzel的棋手.”

Fallenstein和Soares的"Vingean反射是目前关于目标稳定性工作的最新综述。其他论文引用:


为什么会困难吗?

有关正交最终目标和趋同工具策略的更多信息,请参阅Bostrom的“有超常智慧的将(也转载于超智).Benson-Tilsen和Soares的"将聚合的工具目标形式化提供了一个玩具模型。

笑容最大化法是基于比尔·希巴德的一项建议。这个例子和Jürgen Schmidhuber的可压缩性建议在Soares的“价值学习问题。”参见《仲裁报告》边缘实例化环境灾难,最近的畅通无阻的策略

看到米里常见问题解答和GiveWell先进人工智能的潜在风险报告来快速解释为什么人工智能有可能超越人类的认知能力,以及其他话题。Bensinger的当AI加速时说明了预期性能加速的一般原因,而“智能爆炸微观经济学该研究深入探讨了自我调节的人工智能是否有可能加速人工智能的发展这一具体问题。

Muehlhauser注意到计算机安全与人工智能对齐研究之间的相似性金宝博娱乐人工智能风险和安全心态


我们现在的处境

美里的技术研究议程金宝博娱乐总结了该领域的许多核心未决问题。

有关保守主义的更多信息,请参阅arbitar的帖子保守的概念边界和泰勒保守的分类器.关于仲裁:介绍轻微的优化行为由代理

幻灯片中引用的论文:

电子邮件contact@www.gqpatrol.com如果你有任何问题,看看金宝博官方 以获取有关AI联合项目合作机会的信息。