它是什么?: Eliezer Yudkowsky于2016年10月14日在纽约大学的演讲人工智能的伦理学.会议是由国务院主办的纽约大学心理,大脑和意识中心纽约大学生物伦理学中心

视频人工智能伦理:“人工智能与人的价值”部分(37分钟)

幻灯片没有转换/与转换

摘要:让一个比人类更聪明的人工代理朝着直觉预期的价值、元价值或简单任务的方向前进,会有什么困难呢?简要概述AI对齐的基本困难,以及为什么你应该认真对待它们。


学习更多的笔记/参考资料/资源。

会议上提出的议题的一些相关材料:

  • 连贯的推断意志作为对齐目标第二个人工智能。一个强大的AI,如果你对自己的能力非常有信心,能够与一个复杂的目标保持一致,你就应该要求它做所有人类物种中大多数人都同意想要做的事情,如果我们知道AI知道的所有事情,并像AI一样快速思考。
  • 外推意志作为规范的元伦理学解释。
  • 智能爆炸微观经济学-快速,大容量增益的情况。

关于“比人类更聪明的人工智能”这个话题,最好的一般性介绍似乎来自尼克·博斯特罗姆(Nick Bostrom)的文章超智佩顿和斯图亚特·阿姆斯特朗的比我们聪明.要了解更简短的介绍,请参阅Yudkowsky最近的客座文章EconLog。

在Soares等人的著作中讨论了关闭按钮问题。可订正,并由斯图尔特·阿姆斯特朗(Stuart Armstrong)首先研究。

优化者的诅咒被James E. Smith和Robert Winkler

更多关于正交最终目标和收敛工具策略的内容,请参阅Bostrom的“有超常智慧的将(再版超智).Benson-Tilsen和Soares的"形式化趋同的工具性目标提供了一个玩具模型。

微笑最大化者的寓言在苏亚雷斯的“价值学习问题,请参阅边缘实例化环境灾难,最近的畅通无阻的策略

看到米里常见问题解答和GiveWell报告先进人工智能的潜在风险来快速解释为什么人工智能可能能够超越人类的认知能力,以及其他话题。Bensinger的当AI加速AI时说明期望能力加速的一般原因,而“智能爆炸微观经济学,研究了自我修改的人工智能是否会加速人工智能的发展这一具体问题。

Muehlhauser注意到计算机安全和人工智能对齐研究之间的相似性金宝博娱乐人工智能风险与安全心态

美里的技术研究议程金宝博娱乐总结了该领域的许多核心问题。


电子邮件contact@www.gqpatrol.com如果你有任何问题,看看金宝博官方 获取有关人工智能对齐项目合作机会的信息。