评估我们的过去和潜在影响

||分析

我们收到了几个经过深思熟虑的问题为有效利他主义论坛筹款和我们的新常见问题解答.量化交易员Maxwell Fritz说道:

我对MIRI投球的快速反应通常是,“是的,人工智能是一个真正的担忧。但我不知道MIRI是否是从事这项工作的合适人选,或者他们解决问题的方法是否正确。”

大多数常见问题和推介都集中在“这件事重要吗”这一块。也许值得在第二个方面更努力地推销——如果你同意人工智能很重要,为什么是MIRI?

在这一点上,有两个不同的观众——一个有自己的专长领域做出合理的评估基于现有的工作质量,和第二个没有线索(我),需要看到很多从独立的证据,令人印象深刻的来源(第一组的人)。

这些宣传倾向于吹捧那些知道自己的屁话并证实AI值得关注的名人——但当这些人相信MIRI时,应该特别明确。这就是“为什么是你?””的问题。接下来自然是,如果所有这些超级富豪都非常关注人工智能,而且专家认为MIRI应该引领这股潮流,为什么你们现在还没有大量资金呢?

来自数学研究生特里斯坦·塔格:

我猜,“为什么是MIRI”,而不是“谁是MIRI”或“为什么是AI”,是你们应该解决的最大营销障碍。

对我来说,“为什么是MIRI”分为两个问题。第一个也是次要的问题是,MIRI能做什么?为什么我应该期望MIRI的愿景和MIRI团队能把事情做好?我到底能指望他们完成什么?在解决这个问题时,最重要的是,他们已经做了什么,为什么它是有用的?技术议程是模糊的,主要是指文件清单。而且这些论文也没有多大帮助——那些对学术界不太了解的人需要一些更容易理解的东西,而那些对学术界了解更多的人将对MIRI的自主出版和缺乏同行评审持怀疑态度。

但第二个更大的问题是,MIRI会做谷歌不会做的事?谷歌拥有大量资金、富有创造力和远见卓见的员工、世界上最好的程序员和一系列成功的产品,这些产品在一定程度上融入了人工智能——此外,他们最近还收购了几家人工智能企业,并成立了一个人工智能伦理委员会。他们似乎是在直接解决同一个大问题,而不是从理论上解决,而且财力雄厚,头脑敏锐,还有丰富的实践经验。

这里有很多好问题。本周晚些时候,Nate打算回复Tristan的最后一个问题:为什么MIRI目前在这个问题上比业界或学术界的人工智能团队更有优势?2月17日更新链接在这里.)

在此,我想回答特里斯坦和麦克斯韦提出的其他几个问题:

  • 非专业人士如何评估MIRI的研究议程和总体能力?金宝博娱乐
  • 我们可以用什么样的成就来衡量MIRI过去和未来的成功?
  • 最后:如果现在很多人都认真对待这项事业,为什么还有资金缺口?

一般的笔记

当我们为MIRI辩护时,我们通常关注的是将人工智能视为存在风险的一个重要杠杆的原因(内特的观点)四个背景要求以利以谢的五篇论文),以及认为早期的理论进展在这一领域是可能的(美里的方法).

我们之所以关注这些大的争论,是因为致力于这个主题的人仍然很少。MIRI研究的风险情景在过去6-12个月里才引起全国的关注;目前,MIRI是我知道的唯一的研究机构金宝博娱乐声称专门从事对准问题的早期技术研究。金宝博娱乐

在“资助个人研究人员X从事离散项目y”的规模下,有多种机会支持长期人工智能安全的技术研究。2015年生命未来金宝博娱乐研究所(FLI)的一些获奖者奖助金属于这一类,例如Stuart Russell和Paul Christiano。

然而,在这个领域,“资助一个人工智能团队进行大规模或长期项目”的机会并不多,也没有很多直接的机会来引进全新的人才,让这个领域成长和多样化。MIRI希望在这个领域有组织竞争者(和合作者),但他们还不存在。我们希望这种情况最终会发生改变,我们的扩展目标之一就是通过影响其他数学和计算机科学研究团队,让这种情况更快发生,从而承担更多的人工智能对齐工作金宝博娱乐从存在风险社区之外招募高素质的专家成为职业AI对齐研究者。金宝博娱乐

早点开始的好处是,我们有机会在一个不那么拥挤的空间里产生更大的影响。缺点是,当外部人士想要验证我们的研究议程是否在正确的轨道上时,可以求助的权威来源就少了。金宝博娱乐

在很大程度上,那些权威的消息来源可能需要等上一两年。学术界是缓慢的,在这个阶段,许多计算机科学家才知道这个领域几个月。我们的使命被越来越多的科学和工业领导者视为重要,我们的技术议程被一些人工智能专家视为有前途的,值得更多关注——因此它被纳入FLI金宝博娱乐研究优先级文档.但我们不指望目前的证据能普遍说服那些对我们持怀疑态度的潜在捐赠者。

对于那些想要对MIRI的产出进行详细的独立评估的人,我们的建议是等待更广泛的学术界的回应。(我们也在寻找直接征求独立研究人员对我们的研究议程和早期结果的公众反馈的选项。)金宝博娱乐

然而,在这期间,为什么是现在重要的他指出,捐赠给MIRI的影响现在可能比几年后大得多。对于那些持怀疑态度(或好奇)的捐赠者,但他们并不需要学术界对我们的工作进行细致的评估,我将总结一些认为MIRI的工作可能具有高价值的宏观原因。1

对人工智能对话的影响

由于我们的工作缺乏深入的第三方评估,感兴趣的非专业人士可以看看我们的出版历史,以及我们的分析在人工智能风险学术讨论中的重要性。

MIRI最重要的成就分为三类:写出最重要的AI对齐问题;尽早着手解决这些问题;让人们对我们的研究和使命感兴趣。金宝博娱乐我们的回顾过去一年讨论了我们在正式化对齐问题方面的最新进展,以及我们在让更大的人工智能社区对长期人工智能安全感兴趣方面的进展。我们的出版物列表提供了一个更详细和长期的画面,我们的产出。

MIRI联合创始人兼高级研究员Eliezer Yudk金宝博娱乐owsky和人类未来研究所(FHI)创始主任Nick Bostrom负责很多关于“比人类更聪明的人工智能”风险的早期开发和推广。以利以谢的想法引用突出在2009年版人工智能:一种现代方法人工智能:马),是人工智能领域的领先教科书,博斯特罗姆2014年出版的书中也提到了这一点超智

近期在推广长期人工智能安全研究方面取得的成功归功于MIRI和一些演员:Nick Bostrom和FHI, Max Tegmark和FL金宝博娱乐I, Stuart Russell(《人工智能安全研究》的合著者)人工智能:马)、让·塔林(jean Tallinn)等人。在这个具有生存风险意识的群体中,许多人广泛支持MIRI的努力,并定期与我们联系,讨论我们的决定。博斯特罗姆、泰格马克、罗素和塔林都是MIRI的顾问,塔林是FLI和剑桥存在风险研究中心(CSER)的联合创始人,他将MIRI作为他对人工智能风险观点的关键来源。

2014年初,罗素和泰格马克与史蒂芬·霍金和弗兰克·威尔切克一起写了一篇文章,中指出《赫芬顿邮报》“除了剑桥存在风险中心(Cambridge金宝博娱乐 Center for Existential risk)、人类未来研究所(Future of Humanity Institute)、机器智能研究所(Machine Intelligence research Institute)和生命未来研究所(Future of Life Institute)等小型非营利机构,很少有严肃的研究致力于(长期人工智能风险)这些问题。”2在这些机构中,MIRI是目前专门研究设计安全、有益、比人类更聪明的人工智能系统的技术障碍的机构。金宝博官方FHI、CSER和FLI在一系列更广泛的问题上做着重要的工作,包括预测和战略工作、外联工作以及对其他全球风险的调查。

出版物

特里斯坦表示,MIRI的技术议程是自行公布的。回顾我们过去的出版物,MIRI已经自行出版了许多结果。我们不止一次有过看到文件的经历拒绝了有人评论说结果很有趣,但AI动机太奇怪了。我们已经开始提交精简版的论文,并将完整版本放到arXiv上,但为了找出发布这些结果的最佳方式,我们经历了一些反复试验。

部分潜在问题是人工智能领域已经被“冬天在过去几代人过度承诺和兑现不足的时候。该领域的成员通常不愿意展望太远的未来,而且历来都不愿谈论一般智力。

我们的方法恰恰相反:我们直接专注于试图识别一般推理的基本方面仍然没有被很好地理解,同时明确避免将安全研究集中在当今的AI系统上(无论我们如何努力,AI金宝博娱乐系统都更加拥挤,更有可能发生)。金宝博官方这意味着我们的工作如今往往缺乏直接的实际应用,同时也提出了普遍智力这一不受欢迎的主题。

这些天我们得到更多的工作发表的主题部分是因为自己AI不再被视为学术非法在某种程度上是在过去,近年来,部分是因为我们旋转的一个组织,主要致力于运动增长(通过奇点峰会,作品在理性,等等)和一些预测研究,到一个只专注于新技术研究的组织。金宝博娱乐

我们seven-paper技术议程最初是自己出版的,但这主要是为了让它能够尽早被阅读和引用到“人工智能的未来”大会1月。自那以后,较短的版本“迈向理想化决策理论”的技术议程的一篇论文已被AGI-15所接受完整版在arXiv上),我们已经提交了完整的技术议程文件。”可订正AAAI-15是人工智能领域领先的学术会议。综述论文,"将超级智能与人类利益结合起来,即将在施普林格的技术奇点文集中发表。

其他四篇技术议程论文没有经过同行评审,因为它们是高水平的概括性论文,解释和背景很长,但新成果很少。相反,我们将相关结果交由同行评审。我们在AGI-14期刊上发表了Vingean反射结果(“自我改进时空嵌入智能中的自我参照问题”),其他研究结果已被ITP 2015接受(“为HOL制作打样反射”)。我们有两篇与逻辑不确定性和现实世界模型相关的同行评议论文:一篇是我们两周前在AGI-15上提交的(“Solomonoff Induction和AIXI的反射变型”)和我们今年晚些时候在LORI-V上展示的另一个(“反思的神谕:古典博弈论的基础”)。我们还介绍了相关的决策理论的结果在AAAI-14。

值的学习这篇论文是研究议程套件中唯一一篇尚未经过同行评审的相关工作的论文。金宝博娱乐这是议程中技术最不重要的部分,所以我们可能需要一段时间才能获得技术成果,以便对这个主题进行同行评审。

更新7月15日:“价值学习问题”已在IJCAI 2016人工智能伦理研讨会上被同行评审并提交。)

通过在著名期刊和会议上发表论文,我们希望能吸引更多的研究人员对我们的工作感兴趣。金宝博娱乐一个有用的结果是,将会有更多的非miri评估(和贡献)我们正在研究的基础研究问题。金宝博娱乐在不久的将来,我们还会发布一些博客文章,旨在解释我们研究议程中一些更技术性的部分,比如Vingean reflection。金宝博娱乐

自2014年初Nate和Benja加入以来,我们已经发表了7篇同行评议的论文。为了应对最近的行业进步和MIRI和存在风险社区的新工作,发表论文直接解决开放的AI对齐问题变得容易得多,我们预计在未来几年,这将变得更加容易。

成功是什么样子的?

MIRI的成功在一定程度上意味着实现我们的夏天筹集资金目标:发展我们的研究团队,并以我们能够达到金宝博娱乐的资助目标为条件承担额外的项目。我们今年的计划是专注于在精英场所出版一些高质量的出版物。如果我们的筹款活动进展顺利,这将影响到我们执行该计划的效率,以及我们产生和发布新结果的速度。

根据MIRI研究人员和更大的人工智能社区的评估,更直接的衡量成功的标准是我们在选择关注的特定技术问题上取得进展的能力。金宝博娱乐在“美里的方法Nate区分了两种类型的问题:一种是我们在原则上知道答案,但缺乏实用算法的问题;还有一些还不够具体即使在原则上我们也不知道如何构建答案。在这一点上,MIRI的大规模进展看起来像是将重要而被忽视的AI问题从第二类转移到第一类。

Maxwell提出了另一个问题:如果MIRI得到了更多的主流关注和认可,为什么还存在资金缺口?

答案的一部分,用"为什么是现在重要的“我们确实认为,在未来几年里,大量的赠款或捐款很有可能填补我们的资金缺口。然而,大型捐助者和捐助者的行动可能会比较缓慢,无论我们的资金缺口在未来5年或10年是否会缩小,现在能够扩大我们的活动并使其多样化对我们来说是非常有价值的。

埃隆·马斯克和开放慈善项目最近向人工智能安全研究拨款700万美元,MIRI的核心研究项目也获得了拨款金宝博娱乐一大笔项目拨款.这是向该领域注入的资金,也意味着更多的学者将能够开始专注于人工智能对齐研究。金宝博娱乐然而,考虑到大量高质量的赠款接受者,FLI赠款还不足以使最有前途的研究机会资金饱和。金宝博娱乐MIRI获得了第四大项目资助,为期三年,每年资助83,000美元。3.这是一笔非常慷慨的拨款,它将大大支持我们支持研究人员和开办研讨会的努力,但这远远不足以弥补我们的资金缺口。金宝博娱乐

因为这是我们在2015年举办的第一次筹款活动,所以现在就问为什么我们的工作在今年获得了新的关注和认可,但仍然没有缩小差距还为时过早。FLI赠款和我们正在进行的筹款活动是缩小资金缺口机制的一部分。它正在萎缩,但这一过程不是即时的——这一过程的一部分是向新的潜在支持者证明我们的观点。我们希望,如果我们能让捐赠者更清楚地了解MIRI的情况,我们就能更快地弥补资金缺口,从而对有关人工智能安全的早期学术讨论产生更大的影响。

我们非常感谢迄今为止得到的所有支持,特别是在我们拥有主流计算机科学出版物、充实的研究议程或影响人工智能未来话语的记录之前得到的支持。金宝博娱乐我们早期获得的支持对我们取得今天的成就至关重要,随着我们作为一个组织的潜力通过我们的成就变得更加清晰,我们希望继续吸引更多的支持者和合作者。


  1. 一如既往,你也可以问我们更具体的问题这里没有提到。
  2. 引用罗素、泰格马克、霍金和威尔切克:

    人工智能的短期影响取决于谁控制它,而长期影响则取决于它能否得到控制。

    所以,面对可能带来不可估量的利益和风险的未来,专家们肯定在尽一切可能确保最好的结果,对吗?错了。如果一个高级外星文明给我们发短信说,“我们将在几十年后到达”,我们会回复说,“好吧,你到的时候给我们打电话——我们会让灯开着的”?可能不是,但这或多或少是人工智能正在发生的事情。虽然我们面临潜在的人类有史以来最好或最坏的事情发生,有些严肃的研究致力于这些问题之外的小型非营利机构如剑桥中心存在风险,人类的未来研究所机器智能研究所,研究所的未来生活。金宝博娱乐

  3. 我们另外还收到了5万美元人工智能的影响项目,并将从其他两项赠款中获得部分资金,在这两项赠款中,我们的研究人员是二级调查员。”金宝博娱乐推断人类价值”和“将形式验证应用于反思推理.”

你喜欢这个帖子吗?你可以享受我们的另一个分析的帖子,包括: