MIRI的2013年战略

||米里策略

这篇文章不是一个详细的战略计划。现在,我只想提供最新的情况MIRI在2013年做了什么?为什么

我们的使命不变。创造出比人类更聪明的智力可能会人类历史上最重要的事件,MIRI的存在有助于确保这一事件有积极的影响。

不过,过去一年发生了很多变化:

  • 我们的短期目标2011年8月战略规划在很大程度上完成
  • 我们改变了我们的名字从“奇点研究所”到“机器智能研究所”(MIRI)。金宝博娱乐
  • 我们曾经做过三件事——研究、理性训练和奇点峰会。金宝博娱乐现在我们正在做的一个件事:研究。金宝博娱乐理性训练是一个独立的组织,CFAR,而峰会是收购了奇点大学。我们仍然与奇点大学共同制作奇点峰会,但这需要我们有限的努力。
  • 2013年1月至3月,在20多位外部顾问的帮助下,经过数十小时的战略规划,我们已经决定(1)减少在公共领域的努力,(2)将我们的研究重点转向友好的AI数学研究金宝博娱乐

下面我将更详细地解释这最后一对更改。

减少对公众宣传的努力

在过去,公众宣传一直是MIRI工作的主要重点,特别是通过年度活动奇点峰会.这些努力将我们的使命带给了成千上万的人,并大大扩大了我们的网络。但在2013年,我们决定减少对公众宣传的投入,原因有二:

  • 现在还不清楚额外的公众宣传具有很高的边际价值。
  • FHI牛津大学最近加大了对人类友好的人工智能的公共宣传力度玩cs游戏的人剑桥大学也开始这样做。他们的努力受益于精英大学的声望,这是MIRI无法比拟的。(例如,看2012年11月CSER媒体报道.)

三种研究金宝博娱乐

历史上,MIRI产生了三种研究。金宝博娱乐

解释性研究金宝博娱乐.我们的一些工作巩固和澄清了以前只能通过与专家对话获得的战略研究(例如在MIRI或金宝博娱乐FHI)或以书面但无组织的形式(例如邮寄名单档案)。我们的说明性出版物使世界各地的研究人员更容易了解知识的当前状态并以此为基础,但组织和清楚地解释金宝博娱乐以前的工作往往需要大量的研究工作本身。这类工作的例子,来自MIRI和其他的,包括查尔默斯(2010)Muehlhauser & Helm (2013)米尔豪泽与萨拉蒙(2013)Yampolskiy & Fox (2012),以及(大部分)尼克·博斯特罗姆他即将出版的关于机器超级智能的学术专著。

战略研究金宝博娱乐.概率性地将未来从坏的结果推向好的结果是一件棘手的事情。预测是困难的,世界的因果结构是复杂的。尽管如此,我们还是同意牛津的观点人文研究所的未来今天,这种仔细的研究可以提金宝博娱乐高我们成功驾驭未来的机会。(见博斯特罗姆的“技术革命:黑暗中的伦理和政策”)因此,MIRI的一些研究(通常与FHI合作)聚焦于提高我金宝博娱乐们对技术将如何发展的理解,以及目前可用的干预措施最有希望:Yudkowsky (2013);舒尔曼与博斯特罗姆(2012);阿姆斯特朗和索塔拉(2012);Kaas等人(2010);舒尔曼(2010);Rayhawk等人(2009)

友好的人工智能研究金宝博娱乐.降低人工智能风险(以及所有其他灾难性风险)的一个有希望的方法是建立一个具有人文价值、稳定自我改进的人工智能。友好的人工智能”或“固定资产投资”。

FAI理论中存在两类开放问题:“哲学问题”和“数学问题”。FAI的哲学问题是如此令人困惑,我们甚至不知道如何清楚地表达,在这个时候,例如问题推断人类价值.相比之下,FAI数学问题可以简单地说成是数学问题,例如Löbian自我修改系统的障碍金宝博官方.我们的希望是,所有FAI的哲学问题将被澄清为数学问题,就像在他们之前发生的许多哲学问题一样:看柯尔莫哥洛夫(1965)论复杂与简单,所罗门诺夫(1964年,一个1964 b感应,冯·诺依曼和摩根斯特恩(1947)理性,香农(1948)以及Tennenholtz从Hofstadter的“superrationality”发展而来的“program equilibrium”(概述见杰瑞2012).

FAI哲学研究的一些例子是金宝博娱乐Muehlhauser & Williamson (2012);Yudkowsky (2010);Yudkowsky (2004).FAI数学研究的一些例子是金宝博娱乐Christiano等人(2013);LaVictoire等人(2013);杜威(20112012);德布兰科(2011)

转向FAI数学研究金宝博娱乐

MIRI的说明性研究非常有用金宝博娱乐不是因为很多人在学术期刊或书籍中看到我们的工作,而是因为成千上万的人在看到我们的网站时阅读了这些关于我们研究任务的简明解释,也因为我们每个月都会将这些论文发送给几十个个人联系人,他们对我们的工作表示出兴趣。金宝博娱乐

现在还不清楚额外的我们很容易买到的说明性作品价值很高(2) Sotala和Yampolskiy即将发表的关于处理人工智能风险的建议的调查文章,以及(3)Bostrom即将出版的关于机器超级智能的书。因此,我们决定在2013年不投入太多的说明性研究。金宝博娱乐

那么战略研究呢?金宝博娱乐我们认为,如果额外的战略研究具有高质量,则具有较高的价值。金宝博娱乐我们的一名研究人员(Carl Sh金宝博娱乐ulman)将把2013年的几乎全部时间花在战略研究上,另一名研究人员(Eliezer Yudkowsky)将1 - 3月的大部分时间花在战略研究上(特别是智力爆炸微观经济学)。我们也很高兴看到FHI在这个问题上的战略研究,例如Nick Bostrom即将出版的书金宝博娱乐。

尽管如此,2013年,战略研究金宝博娱乐将占我们研究预算的一小部分因为:

  • 有价值的人工智能风险降低战略研究很难获金宝博娱乐得。很少有人拥有一定程度的领域知识和分析能力。此外,其他人很难“赶上”,因为大多数已经完成的分析都没有被清楚地写出来。(博斯特罗姆的书对此应该有所帮助。)
  • MIRI在友好人工智能研究方面具有比较优势。金宝博娱乐美里的以利以谢Yudkowsky在开发友好人工智能理论的技术方面,MIRI做得比任何人都多,而MIRI现在作为友好人工智能研究的中心,例如,通过主办金宝博娱乐研讨会专注FAI数学研究。金宝博娱乐
  • 数学研究比金宝博娱乐战略研究更容易获得学术上的“牵引力”。关于人工智能风险的战金宝博娱乐略研究往往得不到太多的学术支持,因为它往往是跨学科的,必然是投机性的,并依赖于一些可能不为其他研究人员所共享的假设(例如:因果功能主义AI时间表不可知论价值的脆弱性,或者是正交性的论文).相反,任何有正确背景知识的数学家都能很快地理解一个明确表述的数学问题,而且他或她可能会对这个问题感兴趣,不管他们是否认为它是一个社会很重要就像MIRI一样。在小时发布草案最近的数学成绩在我们的博客上,菲尔兹的奖牌获得者Timothy Gowers看到了草稿并发表了评论(在这里),以及其他几位专业数学家。

最后:为什么2013年我们选择FAI数学研究而不是FAI哲学研究?金宝博娱乐我们的理由与专注FAI数学研究而非战略研究的理由相似:(1)有价值的FAI哲学研究难以购买,(2)数学研究比哲学研究更容易获得学金宝博娱乐术吸引力。

2013年金宝博娱乐数学科研活动

2013年我们将采取哪些具体行动来开展FAI数学研究?金宝博娱乐

  • 我们将举办几场数学研究研讨会。金宝博娱乐2012年11月,第一次MIR金宝博娱乐I研究研讨会(4名参与者)取得了惊人的成果。它导致了一个新的概率逻辑这是Tarski的不可定义定理(1936)中的一个“漏洞”,也是一个早期的概率集理论。我们的第二届MIRI研究研讨会(金宝博娱乐12名参与者)目前正在进行中。今年额外的研讨会可能会有4-8个参与者,成本仅为5000美元/年,可能会产生更多的FAI数学研究进展,同时也允许MIRI测试关于如何有效地产生这种进展的许多假设。金宝博娱乐
  • 以利以谢将描述友好AI理论中的几个开放式数学问题。Eliezer目前正在起草一个关于Löbian的自修改系统障碍的解释,并且可能会写一些其他开放性问题的解释,这样数学家们就可以看到FAI理论中哪些开放性数学问题是可以解决的金宝博官方。
  • 我们将接待几位来访的研究员。一个来访的奖学金在MIRI通常是“跟上”MIRI的数学研究议程的最好方法,并且有数学倾向的研究者是金宝博娱乐鼓励应用
  • 我们五月雇佣新的数学研究人员,但我们可能不会。金宝博娱乐我们在招聘新研究人员方面资金有限。金宝博娱乐我们认为更重要的是精益非营利原则是很重要的。也就是说,我们认为快速且廉价地测试如何高效地进行FAI数学研究的假设是很重要的,而运营具有各种结构和各种研究人员的小型研究工作室要比招聘更好。金宝博娱乐在我们有更多关于如何最有效地进行FAI数学研究的证据后,我们更金宝博娱乐有可能雇佣新的研究人员。

你如何提供帮助

如果你认识什么聪明能干的数学家合适的背景为了帮助我们的工作,请鼓励他们联系我们(malo@www.gqpatrol.com)关于我们的金宝博娱乐研究研讨会来访的奖学金,金宝博娱乐研究职位

你也可以支持我们188betapp 或作为一个志愿者