理查德·沃特斯写过故事MIRI和其他金融时报》尼克·博斯特罗姆的超智在它的顶端夏季科学读物清单．
这是一篇好文章。你先去读一下，然后再回来，这样我就可以澄清一下。
1.比人类更聪明的人工智能可能不会“很快”出现。
“电脑将很快变得比我们更聪明，”故事开始了，但我认识的专家中很少有人认为这是可能的。
一个最近的调查问世界上最常被引用的人工智能科学家，他们认为哪一年出现人类水平的人工智能的可能性达到10% / 50% / 90% (又名美国国际集团)，假设科学进步没有被大规模打乱。有10% AGI概率的中位数回答是2024，有50% AGI概率的中位数回答是2050，有90% AGI概率的中位数回答是2070。所以当人工智能科学家认为它是可能的我们可能很快就会得到AGI，他们很大程度上认为AGI是一个问题第二个半个世纪。
此外，许多专门考虑AGI安全性的人实际上认为AGI是进一步比最常被引用的人工智能科学家更容易受到影响。例如，相对于被调查的人工智能科学家，我和尼克·博斯特罗姆(Nick Bostrom)都认为未来几年的可能性更大。我们今天提倡在AGI安全挑战上做更多的工作，不是因为我们认为AGI可能在未来10年或20年，而是因为AGI安全看起来是一个极其困难的挑战这比管理气候变化更具挑战性，而且需要几十年的精心准备。
气候变化和人工智能带来的最大风险还需要几十年的时间，但数千名聪明的研究人员和决策者已经在努力了解和减缓气候变化，只有少数人在研究先进人工智能的安全挑战。金宝博娱乐在目前的情况下，我们应该少一些在气候变化减缓方面的一流认知人才，多一些在AGI安全研究方面的人才。金宝博娱乐
2.有多少人在努力确保AGI对人类友好?
的英国《金融时报》一篇文章援引我的话说，世界上只有五个人“致力于在不远的将来为超级智能机器编写程序，以确保人工智能保持友好”。我确实说了些什么种像这样，但需要澄清。
我的意思是:“如果把一群人的分数加起来，大约有五个人(据我所知)。显式地做技术研究，研究如何确保比人类更金宝博娱乐聪明的人工智能在从根本上改善自身的同时也能产生积极影响。”
这些人是:(a)大部分是Eliezer Yudkowsky, Benja Fallenstein, Nate Soares(都在MIRI)和Stuart Armstrong(牛津)的全职工人，加上(b)更少的人兼职做“友好的人工智能”的技术研究，例如MIRI的(无偿)金宝博娱乐金宝博娱乐研究协会．
当然,还有很多很多比这更研究者做(a)非技术播洒至安全工作,或做(b)现存金宝博娱乐的或将来系统的人工智能安全技术工作,或做(c)偶尔播洒至安全技术工作完成了非常不同的概念“积极影响”或“从根本上改善本身”。金宝博官方
3.AGI不一定会将人类视为“纯粹的”物质集合。
这篇文章引用了我的观点:“由于他们的专注，[agi]将把他们的生物创造者仅仅看作是物质的集合，等待着被重新加工成他们认为更有用的东西。”
AGIs很可能拥有非常精确——并且不断改进——的现实模型(例如，通过维基百科和数百万科学论文)，所以他们不会将人类视为“仅仅”物质的集合我做的。当然,人类是物质的集合，但就物质集合而言，我们很特别。不像大多数物质的集合，我们有通用的智能和意识，技术创造力，欲望，厌恶，希望和恐惧等等，AGI会知道所有这些，它会知道岩石，建筑，植物，猴子和自动驾驶汽车不拥有所有这些性质。
我想说的是，如果一个自我改进的AGI(比方说)被编程来最大化壳牌的股价，那么它就能做到知道所有这些都是关于人类的，然后它就会继续最大化壳牌的股价。碰巧的是，使壳牌股价最大化的最好方法是接管世界，消除所有可能对实现这一目标的威胁。事实上，差不多任何一个AGI可以拥有的目标函数，这是一个接管世界的好主意。那是这个问题。
即使我们可以计划一个自我完善的美国国际集团(说)“人类幸福最大化,那么美国国际集团将“关心人”在某种意义上,但它可能知道(说)的最有效的方法在我们指定的方式“人类幸福最大化”是接管世界,然后把我们每个人的细胞与海洛因滴。AGI为我们呈现这是一个关于精灵的老问题你得到你想要的实际要求，不是什么你想要．
和是的， AGI将足够聪明知道这并不是我们真正想要的，特别是当我们开始抱怨填充牢房的时候。但我们并没有按照我们的要求编程。我们把它设定为“使人类幸福最大化”。
问题是“我们真正想要什么”很难在计算机代码中明确。20个世纪的哲学家都没能以不那么严格的方式详细说明它人类语言。
4."玩弄众神的智慧"
最后，文章引用了我的话:“我们是在玩弄神的智慧。”而且没有开关。”
我不应该抱怨沃特斯先生把我说得这么有口才，但我敢肯定，我从来没有说过这么简明易懂的话。
当然，还有这里是今天有一个关闭的开关，但可能有不会成为一个足够聪明的AGI的关闭开关，以移除它的关闭机制(以便更确定地实现其编程目标)，并在互联网上复制它自己——除非，也就是说，我们解决了我们称之为“可订正”。
你喜欢这个帖子吗?你可以享受我们的另一个分析的帖子,包括:
