关于米莉
机器智能研究所是一个研究非营利组织，研究智能行为的金宝博娱乐数学基础。我们的任务是开发正式的工具，用于对通用AI系统进行清洁设计和分析，目的是在开发这些系统时使其更安全和更可靠。金宝博官方
人工智能领域因其进展过度而闻名。在上世纪70年代末和80年代的“AI冬季”中，研究人员未能兑现雄心勃勃的承诺，导致了对人工智能的资金和兴趣的崩溃。尽管这个领域正在经历一场复兴，但过度自信仍然是一个主要的恐惧；关于人类等效一般金宝博娱乐智力可能性的讨论仍主要归结于科幻小说的书架上。
与此同时，研究人员基本上同意AI在大金宝博娱乐多数认知任务上可能会开始超越人类在本世纪. 鉴于AI的破坏性领域可能有多大，我们认为现在就这一问题展开对话是明智的，并调查是否有有限的领域可以预测和塑造这项技术的社会影响。
金宝博娱乐MIRI的研究人员往往相对不可知论者在未来几十年里，人工智能的发展水平将发生怎样的变化，以及有多少年比人类的人工智能系统更聪明。然而，我们认为一些定性预测是可能的：金宝博官方
-随着感知、推理和规划算法的改进，人工智能系统将被越来越复杂和长期的决策所信任。小错误会带来更大的后果。金宝博官方
-一般推理系统的现实目标和环境对于程序员来说太复杂，无法直接指定。人工智能系统将需要归纳性地学习正确的目标和环境模金宝博官方型。
-最金宝博官方终导致环境模型不良的系统会造成重大危害。然而，由于模型的不完善，限制了规划系统对环境的控制能力，从而限制了预期的危害。
-对于一个目标不明确的系统可能造成的危害，没有太多明显的限制。尤其是一个自主系统金宝博官方关于人类目标，但没有正确设计来使自己的目标与人类目标的最佳模式相一致，在缺乏适当检查的情况下可能造成灾难性的损害。
-人工智能金宝博官方系统的目标或世界模型可能是脆弱的，表现出异常良好的行为，直到一些看似无关的环境变量发生变化。与错误的信念和推理相比，错误的目标更值得关注，因为错误的目标不会限制其他高智能系统的能力。
Stuart Russell，MIRI研究顾问金宝博娱乐和人工智能领军教材“，在”人工智能的长远前景“我们应该将稳健性和安全性问题纳入主流能力研究：金宝博娱乐
我们作为一个领域的目标是建立更好的决策系统。这就是问题所在。[…如果]你要建造一台超级智能机器，你必须给它一金宝博官方些你想要做的事情。危险在于你给它一些你真正想要的东西，因为你不太善于表达你真正想要的，甚至知道你真正想要的东西，直到太晚了，你看到你不喜欢它。
如果你仅仅从一个优化问题的角度来考虑：机器正在为你解决一个优化问题，而你忽略了一些你真正关心的变量。好吧，在优化问题的本质上，如果系统能够操纵一些不构成目标函数一部分的变量——因此它可以随意地处理那些变量——通常，为了优化它应该优化的变量，它会将其他变量设置为极值。金宝博官方
我的建议是，我们应该停止在简单的定义中做人工智能，即仅仅提高系统的决策能力。[…]对于土木工程，我们并不称之为“建造不会倒塌的桥梁”——我们只是称之为“建造桥梁”，当然我们不希望它们倒塌。我们应该对人工智能有同样的看法：当然，AI系统应该设计，以金宝博官方便它们的行为与人类想要的东西很好地一致。但这是一个尚未解决的难题，至今还没有成为研究议程的一部分。金宝博娱乐
我们想改变这个领域，让它感觉像土木工程或核聚变一样…我们创造了氢弹爆炸——无限量的能量，超出了我们可能使用的。但它不是一种社会效益的形式。现在，核聚变研究人员所做的就是——遏制是核聚变研究金宝博娱乐是. 这就是他们所要解决的问题。
与罗素的谈话一致，米里的工作旨在帮助开创人工智能研究的范例，即意识到该领域的长期影响。我们的金宝博娱乐方法论将对齐问题分解为更简单、更精确的子问题，发展基本数学理论来理解这些问题，然后利用我们在工程应用。
学习更多资源
斯图尔特·阿姆斯特朗的短促生动是对AI目标对齐问题最好的非技术介绍之一比我们聪明尼克·博斯特罗姆的更深入专著超智能:
|
比我们聪明“人类引领未来，不是因为我们是最强的或最快的，而是因为我们是最聪明的。当机器变得比人类聪明时，我们会把方向盘给他们。这些强大的机器将带来什么承诺和危险？” |
|
超智能“智能搜索工具优化计划和策略可以在服务于任何目标中执行。智力和动机在某种意义上是正交的：我们可以把它们看作是跨越一个图形的两个轴，其中每个点都代表逻辑上可能的人工代理。” “他提出的正交性论文表明，我们不能轻率地假设，一个超级智慧必然会分享与人类智慧和智力发展有关的任何定型观念的最终价值[。] |
有关MIRI研究重点的更多技术细节，请参见：金宝博娱乐
最后，一般信息：
