它是什么?: 2016年5月5日,尤多科夫斯基在斯坦福大学演讲符号系统杰出演讲者金宝博官方系列。
说话:完整的视频.
成绩单:完整(包括问答),部分(包括选择幻灯片).
摘要如果我们能够制造出足够先进的机器智能,我们应该把它们指向什么目标?边境问题在这个问题上不太开放,”机器人不得伤害人类,也人类的伤害,而坐视不理”,“如果你能正式指定任意的偏好聪明和强大的代理,你能让它安全地移动其中一个草莓放在一个盘子?”本次演讲将讨论AI对齐中的一些开放的技术问题,可能导致这些问题难以解决的困难,以及它们所适用的更大的图景;以及在这个相对较新的领域工作的感觉。
这里收集了学习更多的笔记、参考资料和资源。
代理及其效用函数
关于比人类更聪明的人工智能这一主题,最好的概括介绍似乎是尼克•博斯特罗姆(Nick Bostrom)的文章超智佩顿和斯图亚特·阿姆斯特朗的比我们聪明.要了解更简短的解释,请参阅我最近的客座文章EconLog。
更完整的斯图尔特·罗素语录(从Edge.org):
[担心人工智能灾难]有许多不令人信服的论点——尤其是那些涉及到摩尔定律的直接应用或意识和邪恶意图的自发出现的论点。许多参与这次对话的人似乎是在回应这些论点,而忽略了奥莫亨德罗、博斯特罗姆等人提出的更有实质意义的论点。
我们主要关注的不是令人毛骨悚然的涌现意识,而是创造意识的能力高质量的决策.在这里,质量指的是所采取行动的预期结果效用,而效用函数大概是由人类设计师指定的。现在我们有一个问题:
- 效用函数可能与人类的价值不完全一致,而人类的价值(充其量)是很难确定的。
- 任何有足够能力的智能系统都会更愿意确保自己的持续存在,并获取物理和计算资源金宝博官方——不是为了它们自己,而是为了成功地完成分配给它的任务。
一种金宝博官方优化函数的系统n变量,其中目标取决于大小的子集k<n,通常会将剩余的无约束变量设为极值;如果其中一个无约束变量是我们真正关心的,那么找到的解决方案可能是非常不可取的。这本质上是一个古老的故事,关于灯中的精灵,或巫师的学徒,或迈达斯国王:你得到的正是你想要的,而不是你想要的。
艾萨克·阿西莫夫在1942年的短篇小说《机器人三定律》中介绍了机器人三定律。搪塞.”
彼得·诺维格和斯图尔特·罗素的引语出自人工智能:一种现代方法这本书是人工智能领域最好的本科教材。
我给出的关于效用函数的论据是标准的,可以在Poole和Mackworth的例子中找到人工智能:计算代理的基础.关于规范理性,我在合理性:从AI到僵尸(例如,阿莱悖论和Zut阿莱!).
一些人工智能对齐子问题
我对低影响药剂的讨论借鉴了Taylor等人即将发表的研究提案:金宝博娱乐高级机器学习系统的值对齐金宝博官方关于概述,请参见低的影响Arbital。
在Soares等人的“关机问题”中讨论了暂停问题(称为“关机问题”)。可订正稳定的政策建议来自泰勒通过某些渠道使数量最大化而忽略效果.
坡对机器象棋可能性的反驳来自于1836年的一篇文章Maelzel的棋手.”
Fallenstein和Soares的"Vingean反射是目前关于目标稳定性工作的最新综述。其他论文引用:
Yudkowsky和Herreshoff(2013)。”用于自修改人工智能的Tiling代理,以及Löbian障碍工作报告。
Christiano等人(2013)。”概率逻辑中真理的可定义性工作报告。
Fallenstein和Kumar(2015)。”HOL的证明生成反射:在模型多态上的应用”。在交互定理证明:第六届国际会议论文集.
Yudkowsky(2014)。”允许分段主观EU最大化者平铺的分布. 2014-1技术报告。机器智能研究所。金宝博娱乐
为什么会困难吗?
有关正交最终目标和趋同工具策略的更多信息,请参阅Bostrom的“有超常智慧的将(也转载于超智).Benson-Tilsen和Soares的"将聚合的工具目标形式化提供了一个玩具模型。
笑容最大化法是基于比尔·希巴德的一项建议。这个例子和Jürgen Schmidhuber的可压缩性建议在Soares的“价值学习问题。”参见《仲裁报告》边缘实例化,环境灾难,最近的畅通无阻的策略.
看到米里常见问题解答和GiveWell先进人工智能的潜在风险报告来快速解释为什么人工智能有可能超越人类的认知能力,以及其他话题。Bensinger的当AI加速时说明了预期性能加速的一般原因,而“智能爆炸微观经济学该研究深入探讨了自我调节的人工智能是否有可能加速人工智能的发展这一具体问题。
Muehlhauser注意到计算机安全与人工智能对齐研究之间的相似性金宝博娱乐人工智能风险和安全心态.
我们现在的处境
美里的技术研究议程金宝博娱乐总结了该领域的许多核心未决问题。
有关保守主义的更多信息,请参阅arbitar的帖子保守的概念边界和泰勒保守的分类器.关于仲裁:介绍轻微的优化和行为由代理.
幻灯片中引用的论文:
阿姆斯特朗和莱文斯坦(2015)。“减少人工智能的影响。”工作报告。
苏亚雷斯(2015)。”形式化现实世界模型的两个问题.技术报告2015-3。机器智能研究所。金宝博娱乐
泰勒(2016)。”量化器:在有限优化中比最大化器更安全的选择论文发表于AAAI 2016人工智能,伦理与社会研讨会。
Evans等人(2015)。”学习有界代理的偏好论文发表于NIPS 2015年“有界最优性”研讨会。
Hutter(2007)。”通用算法智能:数学上→下的方法arXiv: cs / 0701125 (cs.AI)。
LaVictoire等人(2014)。”囚徒困境中的程序均衡:Löb定理这篇论文发表于AAAI 2014年的“没有事先协调的多智能体交互研讨会”。
Fallenstein等人(2015)。”反射神谕:人工智能博弈论的基础”。在LORI会议记录2015.
电子邮件contact@www.gqpatrol.com如果你有任何问题,看看金宝博官方 以获取有关AI联合项目合作机会的信息。