关于美里
机器智能研究所是一家非营利性研究机构，研究智能行为金宝博娱乐的数学基础。我们的任务是为通用人工智能系统的干净设计和分析开发正式的工具，目的是使这些系统在开发时更安全、更可靠。金宝博官方
人工智能领域以夸大其进展而闻名。在上世纪70年代末和80年代的“人工智能冬天”，研究人员未能兑现雄心勃勃的承诺，导致对人工智能的资金宝博娱乐金和兴趣大幅下降。尽管这个领域正在经历复兴，过度自信仍然是一个主要的恐惧;关于与人类相当的普遍智能的可能性的讨论，在很大程度上仍被束之高阁。
与此同时，研究人员普遍认为，人工智能金宝博娱乐很可能开始在大多数认知任务上超越人类在这个世纪。考虑到一般领域人工智能的破坏性，我们认为现在开始讨论这个问题是谨慎的，并调查是否有一些有限的领域我们可以预测和塑造这项技术的社会影响。
金宝博娱乐MIRI的研究人员倾向于相对不可知论者人工智能技术在未来几十年将会发生怎样的变化，还有多少年比人类的人工智能系统更聪明。金宝博官方然而，我们认为一些定性的预测是可能的:
-随着感知、推理和规划算法的改进，人工智能系统将被信任，承担越来越复杂和长期的决策。金宝博官方小错误会带来更大的后果。
一般推理系统的现实目标和环境过于复杂，程序员无法直接指定。金宝博官方AI系金宝博官方统将需要通过归纳学习正确的目标和环境模型。
-系金宝博官方统以其环境的糟糕模型告终，会造成重大伤害。然而，糟糕的模型限制了规划系统控制环境的能力，从而限制了预期的危害。金宝博官方
没有明确目标的系统可能造成的伤害的明显限制较少。金宝博官方特别是一个能够学习的自主系统金宝博官方关于人的目标，但没有被正确地设计为使自己的目标与其人类目标的最佳模型相一致，如果缺乏足够的检查，可能会造成灾难性的伤害。
AI系统的金宝博官方目标或世界模型可能很脆弱，表现出异常良好的行为，直到一些看似无关的环境变量发生变化。与错误的信念和推理相比，错误的目标更值得关注，因为错误的目标并不会限制高智商系统的能力。金宝博官方
MIRI研究顾问和该研究的合著者Stuart 金宝博娱乐Russell说人工智能方面的领先教科书，在“人工智能的长远未来“我们应该将健壮性和安全性问题纳入主流能力研究:金宝博娱乐
作为一个领域，我们的目标是做出更好的决策系统。金宝博官方这就是问题所在。如果你要建造一个超级智能的机器，你必须给它一些你想让它做的事情。危险的是，你给了它一些并不是你真正想要的东西——因为你不擅长表达你真正想要的，甚至不知道你真正想要什么——直到为时已晚，你发现你不喜欢它。
如果你只是从优化问题的角度来考虑:机器正在为你解决一个优化问题，而你却忽略了一些你真正关心的变量。它是优化问题的本质,如果系统被操纵一些变量,不形成目标函数的一部分,所以它是免费玩那些希望——通常,为了优化应该是优化的,它金宝博官方将设置其他的极端值。
我的建议是，我们应该停止人工智能的简单定义，即仅仅提高系统的决策能力。金宝博官方对于土木工程，我们不叫它“建造不会倒塌的桥梁”，我们叫它“建造桥梁”。我们当然不希望它们掉下来。我们也应该以同样的方式思考人工智能:当然，人工智能系统的设计应该使其行为与人类的需求保持一致。金宝博官方但这是一个难以解决的问题，到目前为止还没有被列入研究议程。金宝博娱乐
我们想改变这个领域，让它感觉像土木工程或核聚变。[…我们]制造了氢弹爆炸-无限的能量，比我们可能使用的更多。但它不是一种有益于社会的形式。这就是核聚变研究人员要做的——遏制就是核聚变研究金宝博娱乐是。这是他们研究的问题。
与Russell的演讲一致，MIRI的工作旨在帮助启动一个意识到该领域长期影响的人工智能研究范式。金宝博娱乐我们的方法是把对齐问题分解成更简单和更精确的子问题，发展理解这些问题的基本数学理论，然后利用我们在工程应用程序。
学习资源及更多
两个最好的关于人工智能目标对齐问题的非技术介绍是斯图尔特·阿姆斯特朗简短而生动的比我们聪明以及尼克·博斯特罗姆更深入的专著超智:
|
比我们聪明“人类驾驭未来，不是因为我们最强大或最快，而是因为我们最聪明。”当机器变得比人类更聪明时，我们将把方向盘交给它们。这些强大的机器会带来什么样的承诺和危险?” |
|
超智智能搜索工具上的最优计划和政策可以为任何目标服务。智能和动机在某种意义上是正交的:我们可以把它们看作是跨越图表的两个轴，其中每个点代表一个逻辑上可能的人工智能。” “正交性理论表明，我们不能轻率地假设超级智能一定会与刻板印象中与人类智慧和智力发展相关的任何最终价值观相同。” |
有关MIRI研究重点的更多技术详情，请参阅:金宝博娱乐
最后，一般资料:
