米里常见问题解答

1. Miri的使命是什么？

我们的使命宣言是“确保创造比人类更聪明的人工智能产生积极影响。”这是一个雄心勃勃的目标，但我们相信一些早期的进步这是可能的，我们相信这一目标的重要性和困难使我们谨慎地尽早开始工作。

我们的两项研究议金宝博娱乐程，“将机器智能与人类兴趣相结合的代理基础“ 和 ”高级机器学习系统的价值对齐金宝博官方，“专注于三组技术问题：

• 高度可靠的代理设计-学习如何指定高度自治的系统，以可靠地追求某些固定的目标;金宝博官方
• 价值规范- 使用预期目标提供自治系统;金宝博官方和
• 容忍误差- 使这些系统对编程器错误的金宝博官方强大。

我们发布新金宝博娱乐 、主机金宝博娱乐 、参加会议和基金以外的人员金宝博娱乐谁有兴趣调查这些问题。我们也举办了一个188bet娱乐城 和一个在线金宝博娱乐研究论坛．

2.为什么认为AI可以超越人类？

机器已经比人类更聪明，在许多特定的任务中：执行计算，下棋，搜索大型数据库，检测水下矿山等。¹然而，总体而言，人类智能继续主导机器智能。

一个强大的国际象棋计算机是“狭窄”：它无法播放其他游戏。相比之下，人类有解决问题的能力，使我们能够在许多域中适应新的背景和Excel，而不是祖先环境为我们准备的。

在没有一个“智力”的正式定义（因此“人工智能”)，我们可以启发式地引用人类的感知、推理和思考能力(相对于我们的体力或敏捷性)，并说智能是“这类东西”。在这个概念上，智力是一组不同的能力——尽管是非常重要的一组，包括我们的科学能力。

我们的认知能力来源于我们大脑中的高级模式，这些模式可以在硅和碳中实例化。这告诉我们一般的人工智能是可能的，尽管它没有告诉我们它有多困难。如果智能足够难以理解，那么我们可能会通过扫描和模拟人类大脑，或者通过一些试错过程(比如进化)，而不是通过手工编写软件代理程序，来实现机器智能。

如果机器可以在认知任务中实现人类的等价性，那么他们可能最终可能最终倾向于人类。几乎没有理由预期，生物进化缺乏远见和规划，将达到一般情报的最佳算法（任何超过鸟类最佳飞行机的任何飞行机）。超过质量改进在认知中，尼克博斯特拉姆笔记我们可以在数字思想中实现更直接的优势，例如：

• 可编辑- “更容易尝试软件中的参数变化而不是神经湿润。”²
• 速度-“光的速度比神经传输的速度快100多万倍，突触峰值消耗的热量比热力学需要的多100多万倍，当前晶体管的频率比神经元峰值频率快100多万倍。”
• 连续的深度- 在短时间间，机器可以进行更长的顺序过程。
• 存储容量- 计算机可以合理地具有更大的工作和长期记忆。
• 大小-电脑可以比人脑大得多。
• 可复制性-将软件复制到新硬件上比生物复制要快得多，保真度也更高。

这些优势中的任何一个都可以在人类通讯经纪人提供AI推理，或者在人类群体中给予一组AI推理员。他们的组合表明，数字思想可能比我们期望更快和果断地超越人类的思维。

3.为什么安全对人类的令人更重要的是？

当今的人工智能算法在必须在没有人类监督的情况下在重要领域发挥作用时，特别是当它们或它们的环境可以随着时间变化时，已经要求特殊的安全保证:

要实现这些(从自主系统)获得的好处，将依赖于开发全新的方法，通过验证和确认(V金宝博官方&V)由高水平的(适应性)和自主性产生的接近无限状态系统，来实现“对自主的信任”。实际上，这样的系统能够呈现的可能输入状态的数量是如此之大，以至于不仅不可能直接测试所有的状态，甚至不可能测试它们中金宝博官方微不足道的一小部分。因此，这种系统的开发本质上是无法用今天的金宝博官方方法来验证的，因此，它们在所有相对琐碎的应用程序中的操作都是无法验证的。

可以开发具有高度自主性的系统，但它是缺乏合适的V＆V金宝博官方方法，可防止所有但相对较低的自主权进行认证。^3.

随着人工智能能力的提高，赋予人工智能系统更大的自主性、灵活性和控制性将变得更加容易;金宝博官方而且将会有越来越大的动机去利用这些新的可能性。人工智能系统变得更加通用的可能性尤其会使建金宝博官方立安全保证变得困难:测试期间的可靠规律可能并不总是适用于测试后。

人类福利的最大和最持久的变化来自科技创新 - 又来自我们的智力。从长远来看，大部分的AI的重要性来自其自动化和提高科学和技术进步的潜力。智慧比人类AI的创建带来了智力进步本身的基本风险和益处，以数字速度。

随着AI代理变得越来越有能力，分析和验证它们的决策和目标变得更加重要(也更加困难)。斯图亚特·罗素写道：

主要关注的是不是幽灵突然意识，但只是制造的能力高质量决策．在这里，质量是指采取的行动的预期结果效用，其中utility函数由人工设计师指定。现在我们有一个问题：

1. 效用函数可能与人类的价值观不完全一致，而人类的价值观(充其量)很难确定。
2. 任何有足够能力的智能系统都会倾向于确保自己的继续存在，并获取物理和计算资源金宝博官方——不是为了它们自己，而是为了成功完成所分配的任务。

优化金宝博官方某一功能的系统n变量，目标取决于大小的子集k < n，通常会将剩余的无约束变量设置为极值;如果这些无约束变量中有一个是我们真正关心的，那么找到的解决方案可能是非常不可取的。这本质上是关于灯里的精灵，巫师的学徒，或迈达斯国王的古老故事:你得到了你想要的，而不是你想要的。⁴

博斯特罗姆的“过度智力将会“更详细地说明这两个问题：我们可能无法正确地指定我们在智慧比人类的AI系统中的实际目标，并且大多数优化未售出目标的代理商会使人类对待人类的激励措施或潜在的威胁或金宝博官方obstacles to achieving the agent’s goal.

如果人类和人工智能的目标没有很好地对齐，更有知识和技术能力的代理可能会使用武力来得到它想要的，就像在人类社区之间发生的许多冲突一样。在事先注意到这类问题之后，我们就有机会通过将研究导向人为决策者的利益与我们自己的利益相一致来降低这种默认情况下的风险。金宝博娱乐

4.研究人金宝博娱乐员认为人工智能即将到来吗?

2013年初，Bostrom和Müller在AI中调查了一百个顶级的生活作者，如Microsoft Academic Separch排名。有条件的“没有全球灾难停止”进展，回应的二十九名专家为我们开发的机器分配了一个中位数10％的概率“，可以至少和典型的人类履行大多数人类职业”2023年，概率为2023，概率为2048，概率为90％，概率为2080。⁵

MIRI的金宝博娱乐大多数研究人员大致同意10%和50%的日期，但认为人工智能可能会比2080年晚很多。这与博斯特罗姆的分析一致超明：

我自己的观点是，专家调查中报告的中位数在延迟到达日期方面没有足够的概率质量。HLMI(人类水平的机器智能)到2075年甚至2100年还没有开发出来的概率(在条件化“人类科学活动不受重大负面干扰而继续进行”之后)似乎太低了。

从历史上看，人工智能研究人员在预测金宝博娱乐自己领域的进步速度或这种进步的形式方面并没有很好的记录。一方面，有些任务，比如下棋，通过简单得惊人的程序就可以完成;那些声称机器“永远”不可能做到这一点或那一点的反对者已经被一再证明是错误的。另一方面，实践者中更典型的错误是低估了使一个系统在现实世界任务中健壮地执行的困难，并高估了他们自己特别喜爱的项目或技术的优势。金宝博官方

鉴于专家（和非专家）在预测AI的进展方面较差，当Fort AI将被发明时，我们相对不可知．它可能比预期更快，或者晚于预期。

专家们还报告称，超级智能将在2年内发展到人类水平的信心中值为10%，超级智能将在30年内发展到人类水平的信心中值为75%。在这里，MIRI研究金宝博娱乐者的观点与AI专家的中位数观点存在显著差异;我们预计，一旦人工智能系统金宝博官方接近人类水平，它将相对较快地超越人类。

5.你在解决什么技术问题?

“将比人类更聪明的人工智能与人类的兴趣结合起来”是一个极其模糊的目标。为了有效地解决这个问题，我们试图把它分解成几个子问题。在开始的时候，我们会问:“即使这个问题简单得多，我们仍然无法解决这个问题的哪些方面?”

为了比人类更有效地实现现实世界，一般的AI系统需要能够随时间学习环境，并在可能的建议或行动之间决定。金宝博官方然后，一个简化版本的对齐问题将是询问我们如何构建学习其环境的系统，并且具有非常粗略的决策标准，例如“选择最大化世界上预期钻石数量的策略”。金宝博官方

高度可靠的代理设计是正式指定一个软件系统的技术挑战，可以依赖它来追求一些预先选定的玩具目标。金宝博官方这个空间中的子问题的一个例子是本体论识别：如何将“最大化钻石”的目标进行全面，允许完全自治的代理可能最终在意想不到的环境中，并且可能构建意外的假设和政策？即使我们拥有无限的计算能力和世界上的所有时间，我们目前都没有知道如何解决这个问题。这表明我们不仅缺少实用算法，而且是一个基本的理论框架，通过这是一个理解问题的基本理论框架。

正式的代理AIXI是一种试图通过加强学习者的情况下“最佳行为”来定义我们的意思。然而，如果目标是改变关于外部世界的某些东西（而不仅仅是为了最大化预先指定的奖励号码），则缺乏简单的AIXI等方程式。为了使代理商评估其世界模型来计算钻石的数量，而不是拥有特权奖励渠道，一般正式的属性必须拥有哪个普通的属性？如果系统更新其金宝博官方假设（例如，发现字符串理论是真实的，量子物理学是假的），以其程序员未指望，它如何在新模型中识别“钻石”？问题是一个非常基本的问题，但目前有相关理论缺失。

我们可以将高度可靠的代理设计与问题区分开来价值规范“一旦我们理解了如何设计一个促进目标的自主AI系统，我们如何确保它的目标与我们想要的相符?”金宝博官方由于人为错误是不可避免的，我们将需要能够安全地监督和重新设计人工智能算法，即使它们在认知任务上接近人类的水平，MIRI也致力于形式化不变性代理属性。人工智能：一种现代方法，人工智能的标准教科书，总结了挑战:

yudkowsky [...]断言那些从一开始就设计友好（不伤害人类的欲望），但设计人员应该认识到他们自己的设计可能有缺陷，而机器人将学习和发展随着时间的推移。因此，挑战是机制设计之一 - 设计用于在检查和余额的系统中演化AI的机制，并给出在面对这些变化的情况下保持友好的系统实用功能。金宝博官方⁶

我们的技术议程更详细地描述了这些打开的问题，我们的金宝博娱乐研究指南收集更多学习的在线资源。

6.为什么早期努力安全？

MIRI优先考虑早期安全工作，因为我们相信这样的工作是重要的，对时间敏感的，贸易， 和信息．

概述了AI安全工作的重要性第三季度,．我们将问题视为时间敏感的问题：

• 忽视-目前只有少数人在研究MIRI技术议程中列出的开放性问题。
• 明显的困难- 解决对准问题可能需要大量的研究人员小时，并且也可能比能力研究平行化。金宝博娱乐
• 风险不对称-在安全问题上做得太晚比做得太早风险更大。
• AI时间轴不确定性人工智能的发展速度可能比我们预期的要快，所以谨慎犯错是谨慎的。
• AI中的不连续进步当我们接近一般AI时，AI的进展可能会加快。这意味着，即使人工智能离我们还有几十年的时间，等待普通人工智能接近的明确迹象也是危险的:只有当出现明确迹象时，才可能为时已晚，无法开始安全工作。

我们还认为，即使越来越聪明的人，即使差别为50或100年，也可以在今天的安全方面做有用的工作。我们认为这几个原因：

• 缺乏基础理论-如果我们有一个简单的理想化的模型，我们指的是在自治代理中的正确行为，但不知道如何设计实际的执行，这可能意味着需要更多的实践工作与开发的系统。金宝博官方然而，我们所缺少的是简单的模型。基本理论并不一定要求我们对软件系统的实现细节有经验，同样的理论可以应用于许多不同的实现。金宝博官方
• 先例- 理论计算机科学家在相对缺乏实际实施的基础理论方面重复了成功。（知名的例子包括Claude Shannon，Alan Turing，Andrey Kolmogorov和Judea Pearl。）
• 早期结果- 我们已经取得了重大的进步，因为优先考虑了一些我们正在看的一些理论问题，特别是在决策理论和逻辑不确定性．这表明，理论上有很多可以摘取的果实。

最后，我们预计AI安全理论的进步可用于改善我们对可用技术选择的高强大AI系统的理解，以及更广泛的战略景观。金宝博官方特别是，我们希望透明是可靠行为的必要条件我们认为，要让自主AI系统对人类设计师和用户透明，有基本的理论前提。金宝博官方

拥有相关的理论对于设计比人类更聪明的人工智能系统可能不是严格必要的——高度可靠的代理可能需要采用与最容易构建但表现出不可靠行为的比人类更聪明的系统非常不同的架构或认知算法。金宝博官方因此，一些相当普遍的理论问题可能与人工智能安全工作更相关，而不是与主流人工智能能力工作。因此，人工智能安全工作信息化的关键优势包括:

• 信息的一般价值- 使AI安全问题更清晰，更精确的可能会对什么样的正式工具进行洞察，这在回答它们时都会有用。因此，我们不太可能在完全是错误的研究线上度过我们的时间。金宝博娱乐调查该领域的技术问题也可能有助于我们为AI问题的问题有多困难，以及AI对准问题有多困难。
• 信息测试要求- 如果系统是不透金宝博官方明的，则在线测试可能不会向我们提供设计更安全系统所需的大多数信息。人类是不透明的一般推理员，并研究大脑对设计更有效的AI算法非常有用，但它对于构建验证和验证的构建系统并不少。金宝博官方
• 安全测试要求- 从不透明系统中提取信息可能不安全，因为我们构建的任何沙箱都可能具有显而易见的金宝博官方缺陷，而不是人类。

7.如何贡献？

MIRI是一个非盈利金宝博娱乐研究机构，主要由中小捐赠者资助。捐赠因此有助于为数学工作，研讨会，学术外展等提供资金

对于有兴趣了解更多关于我们的研究重点并可能与我们合作的人员，我们金宝博娱乐金宝博官方 有一个申请表以及一些定期更新的在线资源。

由罗伯格林格撰写。最后更新于2016年9月18日。