新论文:“矫正”

||论文

可订正今天我们发布了一篇论文,描述了我们称之为“友好人工智能”研究中的一个新问题领域金宝博娱乐可订正.报告(PDF)是由MIRI的友好人工智能研究团队(Eliezer Yudkowsky, B金宝博娱乐enja Fallenstein, Nate Soares)和牛津大学人类未来研究所的Stuart Armstrong共同撰写的。

抽象的写着:

随着人工智能系统在智能和能力方面的发展,它们的一些可用选金宝博官方项可能允许它们抵制程序员的干预。我们称一个人工智能系统是“可金宝博官方矫正的”,如果它与它的创造者所认为的纠正性干预进行合作,尽管理性的行为主体会抗拒关闭它们或修改它们偏好的尝试。我们引入了修正性的概念,并分析了效用函数,即在按下关机按钮时,试图使代理安全关机,同时避免激励机制来防止按钮被按下或导致按钮被按下,当它创建新的子系统或自修改时,确保关闭行为的传播。金宝博官方虽然有些建议很有趣,但还没有一个被证明能满足我们所有的直觉需求,这就使这个简单的问题有很大的可纠正性。

这篇论文被AI与伦理工作坊在aaai - 2015。

更新:我们有Nate Soares在AAAI-15上的幻灯片在这里