罗素和Norvig还对友好人工智能

||分析

拉塞尔 - 诺维格AI:一种现代方法是迄今为止在该领域占主导地位的教科书。它在1200所大学使用,是目前22日引用最多的出版计算机科学。它的作者,斯图尔特罗素彼得·诺维格,投入显著空间AI危险和友好AI 26.3,“道德与发展人工智能的风险。”

他们介绍的第5个风险:

  • 人们可能会失去他们的工作自动化。
  • 人们可能有过多(或过少)的休闲时光。
  • 人们可能会失去他们的是唯一的意义。
  • AI系金宝博官方统可能向两端不良使用。
  • 使用AI系统可能会导致责任的金宝博官方损失。

每个那些部分是一个或两个段落长。最后一个小节,“AI的成功可能意味着人类的终结”中给出3.5网页。这里有一个片段:

现在的问题是AI系统是否会造成比传统的软件更大的风险。金宝博官方我们将着眼于风险的三个来源。首先,AI系统的状态估计可能金宝博官方不正确,导致它做错事。例如......导弹防御系统的可能错误地检测攻击并发动反击,导金宝博官方致数十亿人的死亡...

其次,指定合适的效用函数为AI系统,最大限度地就不那么容易了。金宝博官方例如,我们可以提出旨在最大限度地减少人类苦难,表现为随着时间的推移添加剂回报功能的效用函数...鉴于人类的方式,然而,我们一定会找到一种方法,在天堂,即使吃亏;所以对于AI系统的最优决策是终止人类尽快 - 没有人,没有痛苦....金宝博官方..

三,AI系统的学习功能可能会金宝博官方导致其演变成与意外情况的系统。这种情况是最严重的,而且是独一无二的AI系统,所以我们将更深入地覆盖它。金宝博官方I.J.好写(1965年

让超级智能机器定义为一台能够远远超过任何一个人无论多么聪明的一切智力活动。由于机器的设计是这些知识的活动之一,超级智能机器可以设计出更好的机器;有然后将无疑是一个“智能爆炸”,而人类的智能则被远远抛在后面。因此,第一超级智能机器是最后的发明,其人类需要完成,但该机器是温顺足以告诉我们如何控制住。

罗素和Norvig还再一提莫拉维克和Kurzweil的著作,返回到的一些关于AI更关心音之前。它们涵盖了阿西莫夫的三大法则机器人,然后:

Yudkowsky(2008)进入如何设计一个友好的AI更多细节。他声称,友好(的愿望不危害人类)应该从一开始就被设计,但设计师应该认识到这两个是自己的设计可能存在缺陷,以及该机器人将学习并随着时间的推移。因此,面临的挑战是机制设计之一 - 定义制衡的制度下发展的AI系统的机制,并给予该系统的实用功能,将保留在这种变化面前友好。金宝博官方我们不能只给一个程序静态效用函数,因为情况下,我们需要的情况下,随着时间的推移变化的应对措施。例如,如果技术已经使我们在1800年设计一个超级强大的AI剂并用当时流行的道德赋予它,这将是今天的战斗重新建立奴役和剥夺妇女的表决权。On the other hand, if we build an AI agent today and tell it how to evolve its utility function, how can we assure that it won’t read that “Humans think it is moral to kill annoying insects, in part because insect brains are so primitive. But human brains are primitive compared to my powers, so it must be moral for me to kill humans.”

Omohundro (2008)假设即使是一个无害的国际象棋程序也会对社会构成风险。同样,马文·明斯基(Marvin Minsky)曾提出,一个旨在解决黎曼假设的人工智能程序最终可能会接管地球上的所有资源,从而建造更强大的超级计算机来帮助实现这一目标。这里的寓意是,即使您只想让您的程序下国际象棋或证明定理,如果您赋予它学习和改变自身的能力,您也需要保护。

我们很高兴地看到美里的工作得到这样的主流学术曝光。

读者可能也有兴趣去学习,罗塞尔在组织上AI影响面板IJCAI-13会议。罗素自己从面板幻灯片这里。小组的其他参与者是Henry Kautz (幻灯片),乔安娜布赖森(幻灯片),安德斯桑德伯格(幻灯片),和塞巴斯蒂安史朗(幻灯片)。

你喜欢这个岗位?您可以享受我们的其他分析职位,其中包括: