为什么人工智能安全?
MIRI是一个非营利研究组织，总部设在加金宝博娱乐州伯克利。我们的技术研究旨在确保比人类更聪金宝博娱乐明的人工智能系统对世界产生积极影响。金宝博官方这一页概述了为什么我们认为这是一个非常重要的目标，为今天的工作。
人类的社会和技术主导地位主要从我们的熟练程度源于推理，规划和做科学（阿姆斯特朗）.我们将称为这个能力一般情报（Muehlhauser) -“通用”，因为人类不需要在数百万年的时间里为理论物理、软件工程和心脏手术进化单独的模块。相反，将人类与黑猩猩区分开来的一套相对较小的适应能力必须同时具备所有这些能力。
当我们谈到“人工通用智能”(AGI)或“比人类更聪明的人工智能”时，我们脑海中浮现的正是这种普遍的解决问题的能力。人工智金宝博官方能系统可能会在科学和工程能力上超越人类，但在任何其他方面——人工方面——都不是特别像人类情报不需要暗示人工意识，例如，或人工情感。相反，我们有能力很好地模拟现实世界的环境，并确定将这些环境置于新状态的各种方法。
专注于AI风险缓解的案例对未来的AI系统将如何实现或使用。金宝博官方以下是我们认为是关键的声明：
- 我们给高级AI系统分配的任何问题/任务/目标都可能与现实世界的目标不完全匹配。金宝博官方除非我们投入(巨大的、多代人的)努力，向人工智能系统传授我们集体价值观的每个细节(在某种程度上存在重叠)，否则现实的系统将需要依赖不完美的近金宝博官方似和代理来满足我们的需求(so，Yudkowsky.）.
- 如果系统的分配金宝博官方问题/任务/目标没有完全捕捉我们的真实目标，那么它可能最终可能会与我们其实想要的灾难性冲突（博塞尔姆，罗素，Benson-Tilsen &苏亚雷斯）.
- 人工智金宝博官方能系统可以变得比人类更聪明(博塞尔姆)，在某种程度上，这可能会让AI系统在任意冲突中获得决定性优势(金宝博官方so，布兰文）.
- 很难预测什么时候会开发出比人类更聪明的人工智能:可能是15年以后，也可能是150年以后。开放慈善项目）.此外，随着AI接近人类能力水平，进展可能加速，一旦终点线处于终点线（金宝博娱乐Bensinger）.
斯图亚特·罗素的剑桥大学说是对长期人工智能风险的很好的介绍。其他对一般人工智能表达过此类担忧的金宝博娱乐领先人工智能研究人员包括弗朗西斯卡罗西(IBM),Shane Legg.(谷歌DeepMind),Eric Horvitz(微软),巴特·塞尔曼说(康奈尔大学),伊利亚·斯图克瓦(OpenAI),安德鲁•戴维森（伦敦帝国学院），大卫McAllester(TTIC),尤尔根•Schmidhuber(IDSIA)。
我们从中得到的教训是，如果我们能找到相关的研究问题来研究，我们应该优先考虑将未来的AI系统与我们的兴趣相结合的早期研究金宝博娱乐。金宝博官方人工智能对齐可能很容易被证明比人工智能本身困难很多倍，在这种情况下，目前的研究努力被严重错误地分配。金宝博娱乐
对齐研究可以包括开发金宝博娱乐正式的和理论的工具，以构建和理解稳定和健壮的AI系统(“高可靠性”)，寻找在AI系统中获得更好的近似值的方法(“价值规范”)，金宝博官方并减少来自不完全可靠或不指定值的系统的风险(“容错”)。金宝博官方
MIRI如何努力在这个问题上取得进展?从宽泛的角度来说，我们可以将所有比人类更聪明的AI系统想象成一个非常广泛且异质的空间，在这个空间中“对齐AI设计”是一个小而狭窄的目标(“对齐A金宝博官方I设计”则更小且更狭窄)。我们通常认为，一个边缘对齐研究人员今天能做的最重要的事情是帮助确保人类设计的第一个普遍智能系统是在“对齐”区域。金宝博娱乐金宝博官方
我们预计这不太可能发生，除非研究人员对系统的发展方式有相当原则的理解，以及如何连接到预期目标。金宝博娱乐金宝博官方因此，我们的大部分工作都是针对播种领域的思想，这些思想可能会在附近激发更多的AI研究（我们期望的）可对准的AI设计。金宝博娱乐当开发第一台通用推理机时，我们希望开发人员从一个设计和技术的空间采样，这些空间比今天在AI中的可能性更可理解和可靠。
我们专注于研究我们认为可金宝博娱乐以帮助激发新的AI技术，这些技术比目前的技术更为理论上。在实践中，这通常涉及专注于我们当前理论中最大的差距，希望能够更好地发展更好地是底层后续工程工作的理论（so）.
其他因素设置我们的方法分开包括我们更多地关注AI系统的推理和规划，而不是系统的目标，他们的输入和输出通道，或其环境的功能。金宝博官方这部分是因为先前提到的考虑因素，部分原因是我们预计推理和计划是使能干能力强有力的能力的关键部分。金宝博官方为了利用这些功能（并安全地这样做），很可能我们需要一个良好的模型，系统如何认知劳动，以及这种劳动如何联系在预期目标中。金宝博官方
最后，我们通常还避免出现问题，我们认为学术和行业研究人员能够良好地解决，而是关注我们预期的是最忽视的研究线（金宝博娱乐Bensinger）.
金宝博娱乐MIRI的研究人员通常对人工智能领域在未来几年将如何发展非常不确定，而且有许多不同的情况让我们觉得可能。然而，如果结果很好，我们会将相当大的概率放在大致遵循以下草图的场景中:
在短期内，对相关金宝博娱乐问题有了原则性的理解，并提出了解决这些问题的正式工具。人工智金宝博娱乐能研究人员朝着关于最佳实践的最小共识前进，对人工智能的长期社会影响进行更开放的讨论，一种具有风险意识的安全心态(Muehlhauser)，并负责误差容错和数值规范。
从中期来看，研金宝博娱乐究人员在这些基础上建立并发展更加成熟的理解。当我们走向更清晰的聪明的人的AI系统的感觉可能看起来像是更靠近可靠的路线图的东西 - 我们想象研究社区向加强协调和合作迈进，以劝金宝博官方阻竞争动态（金宝博娱乐so）.
从长远来看，我们希望看到人工智能授权的项目被用来避免重大的人工智能灾难，同时人类致力于必要的科学和制度成熟，以便对遥远的未来做出持久的决定(杜威）.为了这个目的，我们想要解决有限的AI系统的对齐问题的一个弱版本——系统刚好能够作为防止AI事故和误用的有用杠杆。金宝博官方
在非常长期，我们的希望是，研究人员最终将解决高能金宝博娱乐力，高度自主AI系统的“完整”对齐问题。金宝博官方理想情况下，我们希望达到工程师和运营商能够花费时间点点的位置一世和十字架T.在我们冒着“锁定”之前，任何对未来具有大而不可逆转的效果的选择。
以上是一个模糊的草图，我们优先考虑我们认为在不太乐观的情景中有用的研究。金宝博娱乐此外，这里的“短期”和“长期”是相对的，不同的时间线预测可以具有非常不同的政策影响。但是，素描可能有助于澄清我们希望看到研究社区进入的方向。金宝博娱乐
