AI:一个现代的方法是目前该领域的主流教科书。它在1200所大学中使用，目前是22日引述发表于计算机科学。它的作者,斯图亚特·罗素和Peter Norvig在第26.3节“发展人工智能的伦理和风险”中，我们将重点讨论人工智能的危险和友好的人工智能。
他们讨论的前5个风险是:
- 人们可能会因为自动化而失去工作。
- 人们可能有太多(或太少)的闲暇时间。
- 人们可能会失去独特的感觉。
- AI系金宝博官方统可能会被用于不受欢迎的目的。
- 使用人工智能系统可能会导致责金宝博官方任缺失。
每一部分都有一到两个段落。最后一小节“AI的成功可能意味着人类的终结”给出了3.5页面．这里有一个片段:
问题在于，人工智能系统是否会比传统软件带来更大的风险。金宝博官方我们将讨论三个风险来源。首先，AI系统的状态估计可能金宝博官方不正确，导致它做错误的事情。例如，导弹防御系统可能会错误地探测到攻击并发起反击，导致数十亿金宝博官方人死亡…
其次，为AI系统指定正确的效用函数并不是那么容易实现最大化。金宝博官方例如，我们可能会提出一个旨在减少人类痛苦的效用函数，随着时间的推移将其表达为附加的奖励函数……所以人工智能系统的最佳决定是尽快终结人类——没有人类，就没有痛苦……金宝博官方
第三，人工智能系统的学习功能金宝博官方可能导致它演变成一个带有无意识行为的系统。这种情况是最严重的，而且是AI系统特有的，所以我们将更深入地讨论它。金宝博官方I.J. Good写道:1965）,
让超智能机器被定义为一种机器，它可以远远超过任何人类的智力活动，无论人类多么聪明。因为设计机器是一种智力活动，超智能机器可以设计更好的机器;那么，毫无疑问将会出现“智力爆炸”，人类的智力将被远远甩在后面。因此，第一个超智能机器是人类需要创造的最后一项发明，只要机器足够温顺，可以告诉我们如何控制它。
Russell和Norvig随后提到了Moravec和Kurzweil的作品，然后又回到了对人工智能更关心的语调。它们涵盖了阿西莫夫的机器人三定律，然后:
Yudkowsky (2008)详细介绍了如何设计一个友好的AI。他声称，友善(不伤害人类的愿望)应该从一开始就被设计出来，但设计师应该认识到，他们自己的设计可能有缺陷，机器人会随着时间的推移学习和进化。因此，我们面临的挑战之一是机制设计——为在制衡系统下进化的AI系统定义一种机制，并赋予系统在面对此类变化时仍能保持友好的实用功能。金宝博官方我们不能仅仅给程序一个静态的效用函数，因为环境以及我们对环境的期望反应会随着时间而变化。例如，如果技术允许我们在1800年设计一个超级强大的人工智能代理，并赋予它当时流行的道德，它今天将为重建奴隶制和废除妇女的投票权而斗争。另一方面，如果我们今天建立一个人工智能代理，告诉它如何进化其效用功能，我们怎么能保证它不会读到“人类认为杀死恼人的昆虫是道德的，部分原因是昆虫的大脑太原始了。”但人脑与我的能力相比是原始的，所以我杀人类肯定是合乎道德的。”
Omohundro (2008)假设即使是一个无害的象棋程序也会对社会造成风险。类似地，马文·明斯基(Marvin Minsky)曾提出，一个旨在解决黎曼假设的人工智能程序最终可能会接管地球上的所有资源，以建造更强大的超级计算机来帮助实现它的目标。其中的寓意是，即使你只是想让你的程序下国际象棋或证明定理，如果你给它学习和改变自己的能力，你就需要保护措施。
我们很高兴看到MIRI的工作得到这样的主流学术曝光。
读者们可能还会感兴趣的是，罗素组织了一个关于人工智能影响的小组IJCAI-13会议。拉塞尔自己的幻灯片是在这里．小组的其他参与者是亨利·考茨(幻灯片)、乔安娜·布莱森(幻灯片)、安德斯·桑德伯格(幻灯片)和塞巴斯蒂安·特龙(幻灯片）.
你喜欢这个帖子吗?你可以享受我们的另一个分析的帖子,包括:
