最近,科学星期五(由Ira Flatow主持)页面，mp3)与克里斯多夫·科赫和斯图尔特·罗素谈论机器超级智能。Christof科赫是艾伦脑科学研究所的首席科学官斯图亚特·罗素是加州大学伯克利分校的计算机科学教授，也是《世界最常用的人工智能教科书．
我很高兴听到两位贵宾认真对待机遇和风险美国国际集团．下面摘录了对话的部分内容:
罗素大多数[人工智能研究人金宝博娱乐员]就像[来自超越］．他们只是想解决问题。他们想让机器变得智能。他们正在研究下一个谜题。也有一些人会思考当我们成功时会发生什么。我的书中有一章叫做“如果我们成功了怎么办?”如果我们制造出比人类聪明得多的机器，这就是威尔·卡斯特上传后发生的事，他有大量的计算资源来运行他的大脑，他会变得比人类聪明得多。
如果发生这种情况，那么很难预测这样的系统会做什么，以及如何控制它。金宝博官方这有点像古老的故事，灯里的精灵或巫师的学徒。你可以实现你的3个愿望，但在所有这些故事中，3个愿望会适得其反，而且总有一些漏洞。精灵会最大限度地执行你的要求，而这永远不是你真正想要的。机器也是一样。如果我们问他们，“治愈疾病，结束人类的痛苦，”也许结束人类痛苦的最好方法是彻底结束人类的生命，因为这样人类就不会再有痛苦了。这将是一个很大的漏洞。你可以想象，要制定没有漏洞的税法是多么困难。我们试了300年都没成功。
很难说我们想要一个超级智能机器做什么，这样我们就可以绝对确定结果是我们真正想要的，而不是我们说的。这就是问题。我认为我们，作为一个领域，正在发生变化，正在经历一个认识到更聪明不一定更好的过程。我们必须更聪明，更可控，更安全，就像核物理学家在研究链式反应时突然意识到，如果链式反应做得太多，就会发生核爆炸所以我们需要控制链式反应，就像我们需要控制人工智能一样。
弗拉佗所有的科学不都是这样吗?科学史我们是否在讨论早期的基因工程，想知道一旦我们开始摆弄基因组，实验室里会爬出什么?
科赫现在的区别是，这种风险是对人类社会存在的威胁，就像一旦核精灵从瓶子里出来，我们仍然生活在20分钟内所有我们认识的人都将被核蘑菇毁灭的可能性之下。现在我们有可能在未来的50到100年里这个我们正在研究的发明可能是我们的最后一项发明正如斯图尔特所强调的那样我们的未来可能比我们想象的要黯淡。
[…]
弗拉佗科学家现在是否有责任思考人工智能的后果?研究人员是否组织、讨论、开会讨论这些事情?金宝博娱乐
罗素:绝对的。是的。有责任是因为如果你所从事的领域的成功可能是人类历史上最大的事件，正如一些人预测的，人类历史上最后的事件，那么你最好承担起责任。人们在开会。事实上，我周二在巴黎利用一个重要会议的机会组织了一个。我发现，这个领域的资深人士以前从未公开表示过任何担忧，他们私下里认为我们确实需要非常认真地对待这个问题，而且我们越早认真对待越好。我认为核物理学家希望他们能更早地认真对待这个问题。
弗拉佗:创造?
科赫:是的。我完全同意，斯图尔特。我最近参加了一个物理学家的会议，我们进行了一场大讨论，并进行了一项民意调查，主题是什么是人类生存面临的最大威胁。令我惊讶的是，在核战争之后，这是灰色粘性场景或AI疯狂场景。不是气候控制或者其他更传统的方法。一些专家非常担心人工智能一旦消失会发生什么。
[…]
宇宙中没有一条定律说事物仅限于人类的智力水平。很可能会有比我们聪明得多的实体，正如斯图尔特所说，我们无法预测他们的欲望，他们的动机，并将其编程，我们都知道软件有多漏洞。我们真的希望依靠一些标准的程序员来编写一些不会以某种方式消灭我们的程序吗?
