米里常见问题解答


  1. 1.MIRI的使命是什么?
  2. 2.为什么认为人工智能可以超越人类?
  3. 3.为什么安全对于比人类更聪明的人工智能如此重要?
  4. 4.研究人金宝博娱乐员认为人工智能即将到来吗?
  5. 5.你在解决什么技术问题?
  6. 6.为什么要提早研究人工智能安全?
  7. 7.我该如何贡献?

1.MIRI的使命是什么?


我们的使命宣言是“确保创造比人类更聪明的人工智能产生积极影响。”这是一个雄心勃勃的目标,但我们相信一些早期进步是可能的,我们相信目标的重要性和困难使其在早期开始工作是谨慎的。

我们的两个研究议金宝博娱乐程,”用于将机智与人类兴趣的代理基础”和“高级机器学习系统的值对齐金宝博官方,重点讨论三组技术问题:

  • 高可靠的代理设计-学习如何指定高度自治的系统,以可靠地追求某些固定的目标;金宝博官方
  • 价值规范-提供具有预期目标的自主系统;金宝博官方和
  • 错误宽容-使这样的系统对程序员错误具金宝博官方有健壮性。

我们发布新金宝博娱乐 、主机金宝博娱乐 ,参加会议,和基金以外的人员金宝博娱乐有兴趣研究这些问题的人。我们还举办了188bet娱乐城 和在线金宝博娱乐研究论坛

2.为什么认为人工智能可以超越人类?


机器在许多特定任务上已经比人类更聪明:计算、下棋、搜索大型数据库、探测水下水雷等等。1然而,总体而言,人类智能继续主导机器智能。

一个强大的国际象棋计算机是“狭窄的”:它不能玩其他游戏。相比之下,人类有解决问题的能力,使我们能够适应新的环境,并在许多领域超越祖先环境为我们准备的领域。

在没有“情报”的正式定义(因此“人工智能”),我们可以启发式地引用人类的感知、推理和思考能力(相对于我们的体力或敏捷性),并说智能是“这类东西”。在这个概念上,智力是一组不同的能力——尽管是非常重要的一组,包括我们的科学能力。

我们的认知能力来源于我们大脑中的高级模式,这些模式可以在硅和碳中实例化。这告诉我们一般的人工智能是可能的,尽管它没有告诉我们它有多困难。如果智能足够难以理解,那么我们可能会通过扫描和模拟人类大脑,或者通过一些试错过程(比如进化),而不是通过手工编写软件代理程序,来实现机器智能。

如果机器能在认知任务上达到与人类相当的水平,那么它们很有可能最终超越人类。没有什么理由认为,缺乏远见和规划的生物进化,会偶然发现通用智能的最佳算法(就像它偶然发现了最理想的鸟类飞行器一样)。除了质量改进尼克·博斯特罗姆指出我们可以在数字头脑中实现更直接的优势,例如:

  • -“在软件中实验参数变化比在神经湿件中更容易。”2
  • 速度-“光的速度比神经传输的速度快100多万倍,突触峰值消耗的热量比热力学需要的多100多万倍,当前晶体管的频率比神经元峰值频率快100多万倍。”
  • 连续的深度-在短时间内,机器可以执行长得多的顺序处理。
  • 存储容量-电脑似乎有更强的工作记忆和长期记忆能力。
  • 大小-电脑可以比人脑大得多。
  • 可复制性-将软件复制到新硬件上比生物复制要快得多,保真度也更高。

这些优势中的任何一个都可以让AI推理者比人类推理者更有优势,或者让一组AI推理者比一组人类推理者更有优势。两者的结合表明,数字思维可能会比我们预期的更快、更果断地超越人类思维。

3.为什么安全对智慧比人类AI很重要?


当天,当今AI算法已经需要特别的安全保证,当他们必须在没有人类监督的重要领域时,特别是当他们或其环境随时间变化时:

实现这些收益[来自自主系统]将通过近无限状态系统的验证和验证(V&V)实现完全金宝博官方新的方法的开发,这是由近无限状态系统的验证和验证(v&v),这些方法是由高水平的[适应性]和自主权产生的。实际上,可能的输入的数量表明这种系统可以呈现如此之大,这不仅是直接测试所有这些系统,它甚至不可能测试超过它们的不可金宝博官方顽固的小部分。因此,通过当今的方法因此,这种系统的开发金宝博官方是本质上的无法验证的,因此它们在所有但相对微不足道的应用中的操作是不可认定的。

开发具有高度自治的系统是可能的,但是缺乏适当的V&V金宝博官方方法阻碍了除了相对较低的自治水平之外的所有的使用认证。3.

随着人工智能能力的提高,赋予人工智能系统更大的自主性、灵活性和控制性将变得更加容易;金宝博官方而且将会有越来越大的动机去利用这些新的可能性。人工智能系统变得更加通用的可能性尤其会使建金宝博官方立安全保证变得困难:测试期间的可靠规律可能并不总是适用于测试后。

人类福祉中最大、最持久的变化来自于科学和技术的创新,而科技创新又来自于我们的智慧。从长远来看,人工智能的意义很大程度上来自于它实现自动化和促进科学技术进步的潜力。比人类更聪明的人工智能的诞生,以数字化的速度带来了智力进步本身的基本风险和好处。

随着AI代理变得越来越有能力,分析和验证它们的决策和目标变得更加重要(也更加困难)。斯图亚特·罗素

我们主要关心的不是令人毛骨悚然的突现意识,而是简单的制造能力高质量的决策.这里,质量指的是所采取行动的预期结果效用,其中效用函数大概是由人类设计师指定的。现在我们有一个问题:

  1. 效用函数可能与人类的价值观不完全一致,而人类的价值观(充其量)很难确定。
  2. 任何能力有能力的智能系统都愿意确保自己的持续存在,并获得物理和计算资源 -金宝博官方 而不是为了自己的缘故,而是在其指定的任务中取得成功。

一个金宝博官方优化功能的系统n变量,其中目标取决于子集的大小K ,经常将剩余的未受控变量设置为极值;如果其中一个无约会变量实际上是我们关心的,那么发现的解决方案可能是非常不可取的。这基本上是灯具中的精灵的旧故事,或巫师的学徒,或迈尔斯国王:你完全得到你所要求的,而不是你想要的。4

Bostrom的“有超常智慧的将“更详细地展示了这两个问题:我们可能不正确地指定编程自己AI系统的实际目标,和大多数代理商优化misspecified目标将会激励治疗人类对抗,作为潜在的威胁或障碍实现代理的目标。金宝博官方

如果人类和人工智能的目标没有很好地对齐,更有知识和技术能力的代理可能会使用武力来得到它想要的,就像在人类社区之间发生的许多冲突一样。在事先注意到这类问题之后,我们就有机会通过将研究导向人为决策者的利益与我们自己的利益相一致来降低这种默认情况下的风险。金宝博娱乐

4.研究人金宝博娱乐员认为人工智能即将到来吗?


2013年初,博斯特罗姆(Bostrom)和Müller调查了微软学术搜索(Microsoft Academic Search)列出的100位在人工智能领域被引用最多的在世作者。条件“没有全球性灾难停止进步,”29岁的专家回应平均10%概率分配给我们的开发机”,可以执行大多数人类职业至少还有一个典型的人类”到2023年,50%的概率,到2048年,到2080年90%的概率。5

Miri的金宝博娱乐大多数研究人员大致同意10%和50%的日期,但认为AI可以在2080年之后明显到达。这符合Bostrom的分析超智

我自己的观点是,专家调查中报告的中位数在延迟到达日期方面没有足够的概率质量。HLMI(人类水平的机器智能)到2075年甚至2100年还没有开发出来的概率(在条件化“人类科学活动不受重大负面干扰而继续进行”之后)似乎太低了。

从历史上看,AI研究人员没有强大的金宝博娱乐记录能够预测自己的领域的进步或这种进步所采取的形状。一方面,一些任务,如国际象棋比赛,原本可以通过令人惊讶的简单计划来实现;声称机器将“从不”的反对者能够做到这一点或者反复被证明是错误的。另一方面,从业者之间的典型错误是低估了获得系统在真实的任务中强大执行的困难,并高估自己特定的PET项目或技术的优势。金宝博官方

鉴于专家(和非专家)在预测人工智能进展方面的糟糕记录,相对而言,我们并不知道完整的人工智能何时会被发明出来.它可能比预期来得早,也可能比预期来得晚。

专家们还报告称,超级智能将在2年内发展到人类水平的信心中值为10%,超级智能将在30年内发展到人类水平的信心中值为75%。在这里,MIRI研究金宝博娱乐者的观点与AI专家的中位数观点存在显著差异;我们预计,一旦人工智能系统金宝博官方接近人类水平,它将相对较快地超越人类。

5.你在解决什么技术问题?


“将比人类更聪明的人工智能与人类的兴趣结合起来”是一个极其模糊的目标。为了有效地解决这个问题,我们试图把它分解成几个子问题。在开始的时候,我们会问:“即使这个问题简单得多,我们仍然无法解决这个问题的哪些方面?”

为了比人类更有效地实现现实世界的目标,一般的AI系统将需要能够随着时间的推移了解其环境,并在可能的建议或行动之间做出决定。金宝博官方对齐问题的一个简化版本是,我们如何构建一个能够了解其环境并具有非常粗糙的决策标准的系统,比如“选择使世界上期望的钻石数量最大化的政策。”金宝博官方

高可靠的代理设计是正式指定一个软件系统的技术挑战,可以依赖于追求一些预选的玩具目标。金宝博官方这个空间中的子问题的一个例子是本体标识:我们如何形式化“最大化钻石”的目标,允许一个完全自主的代理可能会在意想不到的环境中结束,并可能会构建意想不到的假设和政策?即使我们一直拥有无限的计算能力,我们目前也不知道如何解决这个问题。这表明我们不仅缺少实用的算法,而且缺少理解问题的基本理论框架。

正式代理AIXI试图在强化学习者的情况下定义我们所说的“最佳行为”。然而,如果我们的目标是改变外部世界的某些东西(而不仅仅是最大化预先指定的奖励数量),那么我们就缺少一个类似aixi的简单等式来定义“良好行为”的含义。为了让代理评估它的世界模型来计算钻石的数量,而不是拥有一个特权的奖励渠道,它的世界模型必须具有什么样的一般形式属性?如果系统以其程金宝博官方序员没有预料到的方式更新其假设(例如,发现弦理论是正确的,量子物理是错误的),它如何在新模型中识别“钻石”?这是一个非常基本的问题,但相关的理论目前还没有找到。

我们可以将高度可靠的代理设计与价值规范“一旦我们理解了如何设计一个促进目标的自主AI系统,我们如何确保它的目标与我们想要的相符?”金宝博官方由于人为错误是不可避免的,我们将需要能够安全地监督和重新设计人工智能算法,即使它们在认知任务上接近人类的水平,MIRI也致力于形式化不变性代理的属性。人工智能:一种现代方法是AI的标准教科书总结了挑战:

Yudkowsky[…]认为友善(不伤害人类的愿望)应该从一开始就被设计出来,但是设计者应该认识到他们自己的设计可能有缺陷,而且机器人会随着时间的推移学习和进化。因此,我们面临的挑战是机制设计——设计一种机制,在制衡系统下进化人工智能,并赋予系统在面对此类变化时仍能保持友好的实用功能。金宝博官方6

我们的技术议程更详细地描述这些未决问题,以及我们的金宝博娱乐研究指南收集在线资源学习更多。

6.为什么要提早研究人工智能安全?


MIRI优先考虑早期安全工作,因为我们相信这样的工作是重要的对时间敏感的易处理的,信息丰富的

概述了人工智能安全工作的重要性Q3,上面.我们认为这个问题具有时间敏感性,因为:

  • neglectedness-目前只有少数人在研究MIRI技术议程中列出的开放性问题。
  • 明显的困难-解决对齐问题可能需要大量的研究时间,也可能比能力研究更难并行化。金宝博娱乐
  • 风险不对称- 致力于安全太晚的风险较大,而不是过早工作。
  • AI时间不确定性- AI可以比我们预期的速度更快地进步,使其在谨慎方面谨慎。
  • AI的间断进展- 随着我们接近普通AI,AI的进展很可能会加速。这意味着即使AI几十年来,等待普通AI附近的明确迹象也会有害:只有在为时已晚以开始安全工作时,可能只会出现清晰的迹象。

我们还认为,如今在人工智能安全方面开展有用的工作是有可能的,即使比人类更聪明的人工智能还需要50年或100年。我们认为这有几个原因:

  • 缺乏基本理论- 如果我们通过自主代理中的正确行为具有简单的理想化模型,但不知道如何设计实际实现,这可能表明需要更多与开发系统的实践工作。金宝博官方而是,简单的模型是我们缺少的东西。基本理论并不一定要求我们拥有软件系统的实现细节的经验,并且相同的理论可以适用于许多不同的实现。金宝博官方
  • 先例-理论计算机科学家在相对缺乏实际实施的情况下,已经多次成功地发展了基础理论。(著名的例子包括克劳德·香农、艾伦·图灵、安德烈·科尔莫哥洛夫和朱迪亚·珀尔。)
  • 早期的研究结果-我们已经取得了重大进展,因为我们正在优先考虑一些理论问题,特别是在决策理论逻辑的不确定性.这表明,理论上有很多可以摘取的果实。

最后,我们希望人工智能安全理论的进展有助于提高我们对健壮的人工智能系统、可用的技术选择和更广泛的战略前景的理解。金宝博官方特别是,我们预计可靠行为所需的透明度,我们认为对人类设计师和用户透明的自主AI系统使自主AI系统具有基本的理论先决条件。金宝博官方

在手中拥有相关的理论,可能无法严格设计智能比人类AI系统 - 高度可靠的药剂可能需要采用非常不同的架构或认知算法,而不是最容易构建的智能人的系统,这些系统表现出不可靠的行为。金宝博官方因此,一些相当普遍的理论问题与AI安全工作更相关,而不是主线AI能力工作。AI安全工作的信息的关键优势包括:

  • 信息的一般价值-让人工智能安全问题更加清晰和精确,可能会让我们更深入地了解什么样的正式工具将有助于回答这些问题。因此,我们不太可能把时间花在完全错误的研究方向上。金宝博娱乐研究这一领域的技术问题也可以帮助我们更好地了解AI问题的难度,以及AI对齐问题的难度。
  • 信息测试的要求-如果系统不透明,金宝博官方那么在线测试可能无法提供我们设计更安全系统所需的大部分信息。人类是不透明的一般推理者,研究大脑对于设计更有效的人工智能算法非常有用,但对于构建用于验证和验证的系统却用处不大。金宝博官方
  • 安全试验要求-从一个不透明的系统中提取信息可能并不安全,因为我们所构建的任何沙盒都可能存在对金宝博官方超级智能来说很明显但对人类来说不是的缺陷。

7.我该如何贡献?


MIRI是一个非盈利金宝博娱乐研究机构,主要由中小捐赠者资助。捐款因此有助于资助我们的数学工作,研讨会,学术推广等。

对于有兴趣了解更多我们的研究重点和可能与我们合作的人,我们的金宝博娱乐金宝博官方 有一个申请表和许多定期更新的在线资源。

作者:Rob Bensinger。最近更新2016年9月18日。

  1. 尼尔森(2009)。寻求人工智能.剑桥大学出版社。
  2. Bostrom(2014)。超级智能:路径、危险、策略.牛津大学出版社。
  3. 美国空军首席科学家办公室(2010)。技术视野:2010-30的空军科技视野
  4. 罗素(2014)。”神话和私酿烈酒.”edge.org.边缘基金会有限公司
  5. Müller和Bostrom(2014)。”人工智能的未来进展:专家意见调查.” In Müller (ed.),人工智能的基本问题.施普林格。
  6. Russell和Norvig(2009)。人工智能:一种现代方法.皮尔森。