MIRI常见问题解答


  1. 1。什么是美里的使命是什么?
  2. 2。为什么认为AI可以超越人类?
  3. 3。为什么是安全的更聪明,比人类的AI重要?
  4. 4。不要研金宝博娱乐究者认为AI是迫在眉睫?
  5. 5。什么技术问题,你的工作吗?
  6. 6。为什么在AI安全早期工作?
  7. 7。我该如何贡献?

1.什么是美里的使命是什么?


我们的使命是要“确保比人类更聪明,人工智能的创作有着积极的影响。”这是一个雄心勃勃的目标,但我们认为,一些早日取得进展是可能的,而且我们相信,我们的目标的重要性和难度,使谨慎的做法是尽早开始工作。

我们的两位研究议金宝博娱乐程,“代理基础对准机器智能与人类利益”和“价值取向为先进的机器学习系统金宝博官方”集中在三个组的技术问题:

  • 高度可靠的代理设计- 学习如何指定可靠地追求一些固定的目标高度自治系统;金宝博官方
  • 值规范- 提供与预期目标的自治系统;金宝博官方和
  • 容错- 使这种系统鲁棒性编程错误金宝博官方。

我们发布新的金宝博娱乐 ,主机金宝博娱乐 ,参加会议,并基金研究人员外金宝博娱乐对调查这些问题感兴趣的人。我们还举办了188bet娱乐城 和在线金宝博娱乐研究论坛

2.为什么认为AI可以超越人类?


机器已经聪明比人类是许多具体的任务:执行计算,下棋,搜索资料库大,探测水雷等。1然而,人类的智慧将继续在一般性支配机器智能。

一个强大的国际象棋电脑“缩小”:它不能玩其他游戏。相比之下,人类具有解决问题的能力,使我们能够适应新的环境,并在比祖传的环境为我们准备了其他许多领域脱颖而出。

在不存在的“智能”的正式定义(因此的“人工智能”),我们可以试探性地举人类的感性,推理和审议院系(相对于,例如,我们的体力和敏捷性),并说情报是‘像这样的东西。’在这种观念,智慧是不同院系的包 - 尽管包括我们的科学能力非常重要的包。

我们的认知能力在我们的大脑高层次的模式干,而这些模式可以在硅和碳被实例化。这就告诉我们,一般的AI是可能的,但它并没有告诉我们,这是多么的困难。如果智能足够很难理解,那么我们就可以在机器智能扫描并模仿人类大脑或一些试错的过程(如进化),而不是手工编码的软件代理到达。

如果机器能够在认知任务实现人类对等,那么它很可能,他们最终可以超越人类。几乎没有理由认为生物进化,其缺乏远见和规划,将会对一般智力的最佳算法命中(任何比它想出的最佳的飞鸟机)。外质量改进在认知,尼克·博斯特罗姆笔记更直接的优势,我们可以实现数字头脑,例如:

  • 可编辑- “这是不是神经湿件容易的实验与软件参数的变化。”2
  • 速度- “光的速度比神经传输的大超过一百万次,突触尖峰消散超过一百万次以上的热量比在热力学上是必要的,并且电流晶体管频率超过一百万次以上的神经元尖峰频率更快。”
  • 串行深度-在短时间尺度上,机器可以执行长得多的顺序过程。
  • 存储容量- 计算机可以振振有词地具有更大的工作和长期记忆。
  • 尺寸- 计算机可以比人类大脑大得多。
  • 可复制- 复制软件到新硬件上可以更快,更高保真度比生物繁殖。

这些优点中的任何一个可以给一个AI推理器的边缘在人的推理器,或给一组的AI推理在人类群体的边缘。他们的组合表明,数字头脑的人才能人心更迅速和果断地比我们所期望的超越。

3.为什么是安全的更聪明,比人类的AI重要?


现今的AI算法已经要求特殊的安全保障时,他们必须在重要领域采取行动,无需人工监督,特别是当他们或他们的环境可以随时间变化:

实现这些收益[从自主系统]将取决于全新的方法发展为接近无限状态系统的实现“在自金宝博官方主信任”通过验证和确认(V&V)从高水平[适应性]和自主性的结果。实际上,这样的系统可以用被呈现的可能的输入状态的数量是如此之大,不仅是不可能直接测试所有这些,它甚至没有测试超过它金宝博官方们的不显着地小部分是可行的。这种系统的发展是因此自然无法证实今天的方金宝博官方法,并因此他们的,但在所有比较琐细的应用操作uncertifiable。

有可能开发出具有高水平的自治系统,但它是缺乏合适的V金宝博官方&V方法阻止所有,但自主性相对较低的水平被证明使用。3

作为AI能力提高,会更容易给AI系统更大的自主权,灵活性和控制;金宝博官方而且会有越来越大的奖励,以充分利用这些新的可能性。对于AI系统的潜力变得更加普遍,特别是会使金宝博官方其难以建立安全保证:测试可能并不总是持有化验后在可靠的规律。

在人类福利最大,最持久的变化来自科技创新 - 而这又源于我们的智慧。从长期来看的话,很多的AI的意义来自于它的潜力,自动化及加强在科技进步。创建更聪明,比人类的AI与它带来的基本风险和智力发展自身的利益,在数字化的速度。

由于AI代理变得更有能力,它来分析和验证他们的决策和目标变得更为重要(也更困难)。斯图尔特罗素

主要关注的不是鬼应急意识,但仅仅为了使能力高质量的决策。在这里,质量是指行动的预期结果效用拍摄,这里的效用函数是,据推测,由人类设计者指定。现在我们有一个问题:

  1. 效用函数可能与人类的价值,这是(最好)很难牵制完全一致。
  2. 任何足够能力的智能系统会优先保证自身继续存在,并获得物理和计算资源 - 不金宝博官方为自己着想,但在其指定的任务取得成功。

被优金宝博官方化的功能的系统ñ变量,其中目标取决于大小的一个子集ķ,往往会设置剩下的非约束变量,以极端值;如果这些无约束变量之一实际上是我们关心的东西时,发现的解决方案可能是极不可取的。这实质上是在灯的精灵,还是魔法师的学徒,或迈达斯国王的老故事:你得到你问什么了,不是你想要的。4

博斯特伦的“该超智威尔”勾画出这两个问题的详细信息:我们可能不能正确地指定我们的实际目标的编程更聪明,比人类的AI系统,而且大多数代理商的错误指定目标的优化将有动力治疗人类adversarially,作为潜在的威胁或金宝博官方obstacles to achieving the agent’s goal.

如果人类与AI代理的目标没有很好地对齐,更多的知识和技术能够代理可以使用武力来获得想要的东西,如发生在人类社区之间的许多冲突。已经注意到了这个类的提前关注,我们有机会向由人工对准决策者的利益与我们自己的指导研究,以减少这种默认方案的风险。金宝博娱乐

4.是否研究金宝博娱乐者认为AI是迫在眉睫?


2013年初,博斯特罗姆和穆勒根据微软学术搜索(Microsoft Academic Search)的排名,对人工智能领域被引用最多的100位在世作者进行了调查。条件“没有全球性灾难停止进步,”29岁的专家回应平均10%概率分配给我们的开发机”,可以执行大多数人类职业至少还有一个典型的人类”到2023年,50%的概率,到2048年,到2080年90%的概率。

大多数研究金宝博娱乐人员在MIRI大约有10%和50%的日期达成一致,但认为AI能到达显著晚于2080这是符合博斯特伦在分析超级智能

我个人的看法是,中位数号码的专家调查报告不会对以后到货日期足够的概率质量。HLMI [人类水平的机器智能]的概率为10%没有得到2075甚至2100开发(conditionalizing的“人类科学活动持续无重大利空干扰”后)似乎太低了。

从历史上看,人工智能研究人员已经没金宝博娱乐有了能够预测的进步在自己的领域的速率或形状,这种进步将采取强有力的记录。在一方面,一些任务,如下棋,竟然是通过极其简单的程序来实现的;和谁声称机器反对者将“永远”能够做到这个或那个曾多次被证明是错误的。在另一方面,从业者比较典型的错误已低估,以获得真实世界的任务稳健执行,并高估了自己特定的宠物项目或技术的优点的系统的困难。金宝博官方

鉴于专家(和非专家)在AI预测进度纪录不佳,我们都比较不可知约满时,AI会被发明。它可能来得早于预期,或晚于预期。

专家们还报告了10%的平均信心,超级智能将在2年内人类等价的开发,并且75%的信心,超级智能将在30年内人类等价的开发。这里MIRI研究者中金宝博娱乐间视图的意见,从AI专家显著差异;我们预计AI系统能够相对迅金宝博官方速,一旦接近人类等价超越人类。

5.什么技术问题,你的工作吗?


“对齐更聪明,比人类的AI与人类利益”是一个极其模糊的目标。为了高效地解决这个问题,我们试图将其因式分解成若干子问题。作为一个起点,我们要问:“是什么这个问题的各个方面将我们仍然无法即使解决,如果问题要容易得多?”

为了比人类更有效地实现真实世界的目标,一般的AI系统将需要能够随着时间的推移,了解它的环境和可能的建议或行动之间做出选择。金宝博官方对齐问题的简化版本,那么,会问我们如何构建学习它的环境,有一个非常粗糙决策准则,就像一个系统“选择最大化的世界钻石预期数量的政策。”金宝博官方

高可靠的代理设计是正式指定可依靠的去追求一些预选玩具目标软件系统的技术挑战。金宝博官方在此空间中的子问题的一个例子是本体鉴定:我们如何在正式全面通用“最大化钻石”,让一个完全独立的代理可以在意想不到的环境中结束,并可以构造意料之外的假设和政策的目标是什么?即使我们有无限的计算能力和在世界上所有的时间,我们目前不知道如何解决这个问题。这表明,我们不仅缺少的实用算法,而且还通过其基本的理论框架来理解这个问题。

正式代理艾希是试图定义我们在加强学习的情况下,“最佳行为”的意思。一个简单的艾希样缺乏公式,但是,对于界定我们所说的“良好行为”的意思是,如果我们的目标是什么改变关于外部世界的(而不是仅仅以最大限度地预先指定的奖励数目)。为了评估其世界的模型来计算的钻石的数量,而不是有特权奖励渠道代理,什么一般正规的属性必须在其全球车型拥有?如果系统更新它金宝博官方的假设(例如,发现弦理论是正确的和量子物理学是假的),在某种程度上它的程序员没有想到的,它是如何确定的新模式“钻石”?现在的问题是一个非常基本的一个,但相关的理论,目前下落不明。

我们可以从问题区分高可靠的代理设计值规范:“一旦我们了解如何设计一个独立的AI系统,促进了目标,我们如何确保它的目标实际上是一致,我们想要什么?”金宝博官方由于人为错误是不可避免的,我们需要能够安全地监督和重新设计AI算法甚至当他们接近人体等效于认知任务,MIRI也适用于形式化容错剂的性质。人工智能:一种现代方法在AI的标准教科书,总结了挑战:

Yudkowsky [...]断言友好(的愿望不危害人类)应该从一开始就被设计,但设计师应该认识到这两个是自己的设计可能存在缺陷,以及该机器人将学习并随着时间的推移。因此,面临的挑战是机制设计中的一个 - 来设计制衡制度下AI进化的机制,并给予该系统的实用功能,将保留在这种变化面前友好。金宝博官方6

我们的技术议程详细描述了这些开放的问题,而我们的金宝博娱乐研究指南收集网上学习资源更多。

6. AI安全早期为什么工作?


MIRI优先年初安全工作,因为我们相信,这样的工作是重要对时间敏感的听话的信息

AI安全工作的重要性,概述Q3,上述。我们看到了问题,因为时间敏感的的结果:

  • neglectedness- 只有极少数的人目前正致力于在MIRI技术议程所列的开放问题。
  • 明显的困难- 解决对齐问题可能需要大量的研究员小时,也可能更难并行比能力研究。金宝博娱乐
  • 风险不对称- 工作安全太晚了比它的工作为时过早更大的风险。
  • AI时间表的不确定性- AI能进步得更快,比我们预期,使其谨慎地谨慎的侧犯错。
  • 在AI不连续的进步- 在AI的进展很可能当我们接近一般的AI加快。这意味着,即使AI是几十年了,那将是危险的,等待明确的迹象表明,通用AI近了的时候,为时已晚,开始安全工作明显迹象可能只出现。

我们也认为这是可能今天做无用功在AI的安全,即使聪明,比人类的AI是50年或100年的路程。我们认为这有几个原因:

  • 缺乏基础理论- 如果我们有什么,我们通过自主智能正确的行为意味着简单的理想化的模型,但不知道如何设计实际的实现,这可能意味着需要更多的实践与开发的系统工作。金宝博官方相反,但是,简单的模型是我们缺少什么。基本理论并不一定要求我们有一个软件系统的实现细节的经验,同样的理论可以适用于许多不同的实现。金宝博官方
  • 先例- 理论计算机科学家不得不在相对缺乏实际实现的开发基础理论屡创佳绩。(著名的例子包括香农,阿兰·图灵,安德烈·洛夫和犹太珍珠。)
  • 初步结果- 因为优先一些我们正在寻找在理论问题,我们已经取得了显著的进步,特别是在决策理论合乎逻辑的不确定性。这表明,有被采摘唾手可得的理论成果。

最后,我们预计AI安全理论的进展,为改善我们的强大的AI系统的了解,可用技术选项是有用的,以及更广泛的战略格局中。金宝博官方特别是,我们预计透明度所必需的可靠的行为,我们认为有基本的理论前提条件,以使透明的人类设计者和用户自主AI系统。金宝博官方

手头有相关的理论可能不是绝对必要的设计更聪明,比人类的AI系统 - 高度可靠的代理商可能需要采用完全不同的架构和认知算法相比,表现出不可靠的行为最容易构建更聪明,比人的系统。金宝博官方出于这个原因,一些相当一般的理论问题可能更相关的AI安全工作,而不是主线AI能力的工作。大赦国际安全工作的信息量主要优点,那么,包括:

  • 信息的一般价值- 让AI的安全问题,更清晰,更准确,很可能会给见解什么样的形式工具会回答他们有用。因此,我们就不太可能花时间在整个研究的错误路线。金宝博娱乐调查在这方面的技术问题,还可以帮助我们开发的AI问题是如何艰难更好的感觉,以及如何艰难的AI对齐问题。
  • 信息测试的要求- 如果系统是不透金宝博官方明的,然后在网上测试可能不是我们需要设计更安全的系统中的信息最给我们。人类是不透明的一般推理,并研究大脑已经相当有用的设计更有效的AI算法,但一直不太有用建立验证和确认系统。金宝博官方
  • 安全测试要求- 从一个不透明的系统提取信息未必是安全的,因为任何沙盒,我们积累可能有明显的超金宝博官方级智能而不是人类的缺陷。

7.我如何贡献?


美里是一个非营利性的金宝博娱乐研究主要由小型和中型的捐助者资助。捐赠因此资助我们的数学工作,研讨会,学术推广等有益

对于有兴趣了解更多关于我们的研究重点,并可能与我们合作,我们的人金宝博娱乐金宝博官方 申请表和一些定期更新的在线资源。

撰稿罗布本辛格。上次更新2016年9月18日。

  1. 尼尔森(2009年)。探寻人工智能。剑桥大学出版社。
  2. 博斯特伦(2014)。超级智能:路径,危险,策略。牛津大学出版社。
  3. 美国空军首席科学家办公室(2010)。技术视野:远景空军科技2010-2030
  4. 罗素(2014)。“神话和月光“。edge.org。边缘基金公司
  5. Müller和博斯特伦(2014)。“未来发展在人工智能:专家意见调查“。在穆勒(编),人工智能的基本问题。斯普林格。
  6. Russell和Norvig还(2009年)。人工智能:一种现代方法。皮尔逊。