MIRI策略更新2016

||MIRI策略

这个职位是一个后续圣马洛的2015年回顾,勾画出我们新的2016-2017年的计划。简单地说,我们的首要任务(按照重要性递减的顺序排列)是:(1)就我们所确定的研究问题,技术进步,(2)扩大我们的团队,和(3)构建更强更广泛的研究团体的联系。金宝博娱乐

作为一个讨论以前的博客文章,我们的研究计划,最大的更新是我们将要分裂我们的时间我们金宝博娱乐的2014研究议程之间前进(以下简称“代理基础”议程),并通过向泰勒杰西卡导致机器学习金宝博娱乐工作面向一个新的研究议程:“对齐方式先进的机器学习系统金宝博官方“。

另外三个新闻条目:

1.我很高兴地宣布,美里已经获得的支持来自一个重要的新捐助者:企业家和计算生物学家布雷克Borgeson,谁取得了$ 300,000捐赠给MIRI。这是第二大捐赠MIRI在它的历史已经收到,只有杰德McCaleb的的殴打2013 cryptocurrency捐赠。其结果是,我们已经能够以更快的速度,信心和灵活性,能够执行我们的增长计划。

2.今年,而不是运行单独的夏季和冬季募捐,我们将它们合并成一个更加雄心勃勃的筹款活动,这将发生在九月。

3.我也很高兴地宣布,亚伯兰Demski接受一个位置作为MIRI研究员。金宝博娱乐此外,瑞恩·凯莉接受了一个位置作为助理研究员,我们雇了一些新的行政人员。金宝博娱乐

我会提供这些详细信息及以下等新的发展。

优先级1:开放的技术问题取得进展

自2013年起,美里的主要目标一直是使对AI比对技术进步。我们几乎所有的其他活动都直接或间接地旨在生产更多高品质的定位研究,无论是在MIRI或其他机构。金宝博娱乐

如上所述,杰西卡泰勒正在领导一个“对齐方式为先进的机器学习系统”计划,该计划将占用我们的研究工作前进的一半。金宝博娱乐金宝博官方我们这个工作目标将制定正式的模型和理论工具,我们预测精干的AI系统的定位将有助于在假设这样的系统将是性质上类似于现在的机器学习系统下。金宝博官方我们的研金宝博娱乐究通讯经理罗布·本辛格,有总结主题在我们新的工作及其与其他AI安全研究提案关系。金宝博娱乐

今年早些时候,我记下了多大的技术进步在2015年的总结,我认为我们会在我们的研究议程进行(通过圣马洛中指出我们金宝博娱乐2015年回顾),相对于我的期望。总之,我希望除了在我们所有的研究领域,谦虚使人进步金宝博娱乐值规范(这是低优先级对我们来说,2015年)。我们所取得的进展比预期更快地对一些问题,比预期更慢于他人。

归感应合乎逻辑的不确定性我们超出了我的预期,使得相当大的进展。在容错我们下颚我的期望,只取得了有限的进展。在我们的其他研究领域,我们金宝博娱乐做了大概的我很大的进展预计:谦虚使人进步中决策理论Vingean反思在值说明书中,和有限的进展。

我也是在今年早些时候作出的预测个人对我们会了多大的进步,通过2016年底做:在决策理论,容错性和价值规范谦虚使人进步;在Vingean反射限于进展;在逻辑不确定性和归化诱导和相当大的进步。(从2017年开始,我会在今年初公开使我的预测。)

违反这些下来:

  • Vingean反思对我们来说是今年较低的优先级。这部分是因为我们不太相信,还有额外的低挂水果在这里弹拨,在逻辑的不确定性或决策理论没有更多进展。虽然我们一直在学习了很多关于实现碰壁通过Benya Fallenstein,拉玛纳库马尔,以及杰克·加拉格尔的持续HOL-在-HOL项目,我们并没有因为Benya开发的模型多态性看到这方面的任何重大的理论突破在2012年年底。Benya和卡亚Fallenstein仍然偶尔研究了这个问题。
  • 与此相反,我们继续取得稳步上涨中的基本理论合乎逻辑的不确定性归感应决策理论这些年来。Benya,卡亚,亚伯兰,斯科特Garrabrant,凡妮莎科索伊和Tsvi本森 - Tilsen将重点放在这些领域在未来几个月内,我希望看到的同样重要的2016进步到什么,我们在2015年看到的。
  • 我们的机器学习议程主要集中在容错值规范,使得今年这些更高的优先级对我们来说。我希望看到来自杰西卡泰勒,帕特里克LaVictoire,安德鲁·玛琳,斯图尔特·阿姆斯特朗和瑞安凯里对这些问题的工作进展不大。这是很难说是否会有任何大的突破这里,给出的程序有多新。

埃利泽·尤多科斯基,我会分裂致力于这些问题和做文写作之间我们的时间。埃利泽是写关于对齐理论,而我会写MIRI战略和预测的问题。

我们花了2016年上半年的大部分写了现有的成果和研究的建议,并与其他研究人员(如通过我们对富士重工和访问我们的协调金宝博娱乐座谈会系列的坚固与效益AI),而且我们有一点写在我们前面在未来几周内。We managed to get a fair bit of research done — we’ll be announcing a sizable new logical uncertainty result once the aforementioned writing is finished — but we’re looking forward to a few months of uninterrupted research time at the end of the year, and I’m excited to see what comes of it.

重点2:扩大我们的团队

成长MIRI的研究团队是一个高金宝博娱乐优先级。我们还扩大我们的管理团队,与更多的我的时间释放和更好的定位MIRI积极影响蓬勃发展的AI风险对话的目标。

在过去一年作出显著贡献我们的研究作为研究助理(后例如“金宝博娱乐归纳一致性”和结构性风险缓解),并参与我们的CSRBAI和MIRI夏季研究员计划,亚伯兰Demski已经签约加入我们的核心研究团队。金宝博娱乐亚伯兰正计划在2016年年底或2017年年初加盟南加州大学完成他的计算机科学博士学位后。米哈伊Bárász也被提名加入我们的核心研究团队在未来的日子,我们正在考虑几个有希望的候选人金宝博娱乐研究奖学金。

在较近期,科学家数据瑞恩·凯莉已经和我们一起在我们的机器学习议程合作,并将会加入我们在9月份助理研究员。金宝博娱乐

近期,我们还聘请了新的办公室经理,亚伦Silverbook,以及通信和发展管理,科尔姆ÓRiain。

我们有一个开放键入理论家招聘广告,并且更普遍追求金宝博娱乐研究员具有较强的数学直觉和形式化和解决难点问题的人才,或充实和撰写出版结果。

我们也寻求沟通和宣传的专家(例如,计算机程序员具有非常强的写作技巧),以帮助我们保持与公众热烈和学术AI风险交谈步伐。如果你有兴趣,请发送简历和非小说写作样本

重点3:协作,并与其他研究人员交流金宝博娱乐

已经有一些新的迹象在2016年AI对准会(相对)主流:

MIRI的目标是确保AI对准问题得到解决,它的美里是否解决它或其他一些团体。因此,我们通过关注冲着对准问题的新涌入兴奋,并认为这是培养领域的一个重要时刻。

由于AI安全研究进入更加主金宝博娱乐流,研究员池,我们可以对话正在变得越来越大。与此同时,我们自己解决问题的方法 - 特别是集中在最长期,高风险和问题的不当理解的部分,那是件与学术界和工业界的奖励至少一致- 仍然是不寻常的。缺席MIRI,我认为这部分谈话会几乎完全被忽视。

以帮助促进我们的方法和成长领域,我们打算主机更讲习班,旨在不同的学术观众。我们将托管在不久的将来,机器学习研讨会,并可能会遇到更多的活动,如CSRBAI前进。我们也有过去的技术成果积压写上去,这是我们希望为从事计算机科学,经济学,数理逻辑,决策理论等方面的研究更有价值。金宝博娱乐

我们正在设法同时优先打1和3,追求的重要研究方向也帮助我们建立在更广泛的学术界更牢固的关系尤其感兴趣。金宝博娱乐其中的几个原因,我们的新的研究议程是其潜在的由ML社区,以鼓励更多的对金宝博娱乐准工作。


Short version: in the medium term, our research program will have a larger focus on error-tolerance and value specification research, with more emphasis on ML-inspired AI approaches, and we’re increasing the size of our research team in pursuit of that goal.

罗布,马洛,我会说更多关于我们的资金状况和组织战略在9月,当我们揭开序幕,我们的2016募捐活动。作为该系列文章的一部分,我也更了解如何我们目前的策略符合我们的长期目标和优先事项编写。

最后,如果你参加有效的全球利他主义这个周末,请注意,我们将运行两个车间(之一在杰西卡的新项目,另一个在上述新的逻辑不确定的结果),以及一些办公时间(两者同金宝博娱乐研究团队并与管理团队)。如果你在那里,随时通过问好下降,多问什么,我们已经达到。