MIRI战略更新：2016年

||Miri战略

这篇文章是马洛的后续行动2015年评论，勾勒出我们的新2016-2017计划。简而言之，我们的首要任务（以较低的顺序）为（1）对我们所确定的研究问题进行技术进展，（2）扩大我们的团队，（3）为更广泛的研究界构建更强大的联系。金宝博娱乐

如在a中讨论的那样以前的博客文章，我们的研究计划最大的更新是，我们将把时间分配到我们的2金宝博娱乐014年研究议程(“代理基金会“议程”和杰西卡泰勒领导的机器学习工作导金宝博娱乐向的新研究议程：“高级机器学习系统对齐金宝博官方。“

另外三条新闻:

1.我很高兴地宣布，Miri得到了一位新捐助者的支持：企业家和计算生物学家Blake Borgergeson，他们为Miri提供了30万美元。这是第二大捐赠Miri在其历史中收到，只有Jed McCaleber的殴打2013加密货币捐赠．因此，我们能够以更快的速度、更大的信心和更大的灵活性执行我们的增长计划。

今年，而不是在夏季和冬季筹款人员中，我们将它们合并为一个更雄心勃勃的筹款司机，这将在9月发生。

3.我也很高兴地宣布亚伯兰德斯基接受了一名Miri研究员的立场。金宝博娱乐此外，Ryan Carey接受了作为助理研究员的职位，我们雇用了一些新的行政人员。金宝博娱乐

我将提供有关以下这些和其他新发展的更多细节。

优先事项1:在开放性技术问题上取得进展

自2013年以来，Miri的主要目标是在AI对准方面取得技术进步。几乎所有其他活动都是直接或间接的，旨在在Miri或其他机构生产更加高质量的对准研究。金宝博娱乐

如上所述，Jessica Taylor现在正在领导“用于先进机器学习系统的对齐”程序，这将占据我们的研究努力的一半。金宝博娱乐金宝博官方我们与这项工作的目标将制定正式的模型和理论工具，我们预测将有助于对高能量的AI系统的对准，因为这些系统的定性类似于当天的机器学习系统。金宝博官方我们的研金宝博娱乐究通讯经理Rob Bensinger，拥有概述在我们的新工作中的主题及其与其他AI安全研究建议的关系。金宝博娱乐

今年早些时候，我突然笑了解了我认为我们在2015年的研究议程中提出的技术进步的摘要（Malo在我们的金宝博娱乐2015年评论)，相对于我的期望。简而言之，我希望我们所有的研究领域都能取得一定的进展，除了金宝博娱乐价值规范（2015年为我们的低优先事项）。我们在一些问题上更快地进步，而且对他人的预期比预期更慢。

在归化诱导和逻辑不确定性，我们超出了我的预期，取得了相当大的进展。在容忍误差，我们强调了我的期望，并仅取得了有限的进展。在我们的其他研究领域，我们金宝博娱乐提出了我预期的巨大进展：适度进展决策理论和视频反思，并在价值规范中有限的进展。

我还在今年早些时候提出了个人预测，关于我们在2016年底完成了多少进展：决策理论，误差和价值规范中的适度进展;在Vingean反思的有限进展;逻辑不确定性和归化诱导的大量进展。（从2017年开始，我将在今年公开发布预测。）

打破这些：

  • 视频反思今年美国的优先级较低。这部分是因为我们不太自信，在这里有额外的低悬浮水果，缺乏逻辑不确定性或决策理论的额外进展。虽然我们一直在学习通过Benya Fallenstein，Ramana Kumar和Jack Gallagher的持续的实现障碍HOL IN-HOL项目，由于Benya开发了模型多态性，我们没有看到这一领域的任何主要的理论突破在2012年末．Benya和Kaya Fallenstein仍然偶尔研究这个话题。
  • 相比之下，我们在基本理论方面持续取得了稳定的进展逻辑不确定性那归化诱导， 和决策理论这些年来。Benya，Kaya，Abram，Scott Garrabrant，Vanessa Kosoy和Tsvi Benson-Tilsen将在未来几个月内关注这些地区，我希望在2016年对我们在2015年所看到的内容相似的进步。
  • 我们的机器学习议程主要集中在容忍误差和价值规范，今年为我们制造这些更高的优先事项。我希望看到杰西卡泰勒，帕特里克·拉沃特郡，安德鲁·克鲁克，斯图尔特阿姆斯特朗和Ryan Carey对这些问题的工作进展。鉴于该计划如何新的，更难说在这里是否会有任何大突破。

Eliezer Yudkowsky和我将在研究这些问题和执行陈述之间拆除我们的时间。Eliezer是关于对齐理论的写作，虽然我会写关于Miri战略和预测问题。

我们花了2016年上半年的大部分，编写现有的结果和研究提案，以及与其他研究人员协调（例如我们访问FHI和我们的访问金宝博娱乐健壮有益的人工智能系列研讨会)，在接下来的几周，我们还有更多的文章要写。We managed to get a fair bit of research done — we’ll be announcing a sizable new logical uncertainty result once the aforementioned writing is finished — but we’re looking forward to a few months of uninterrupted research time at the end of the year, and I’m excited to see what comes of it.

优先2：展开我们的团队

越来越多的Miri的研究团队是金宝博娱乐一个很高的优先事项。我们还在扩大我们的管理团队，目标是释放更多我的时间和更好的定位Miri，以积极影响蓬勃发展的AI风险谈话。

在过去一年为研究助理的研究作出重大贡献之后（例如，“金宝博娱乐归纳连贯“ 和结构风险缓解）参加我们的CSRBAI和MIRI的暑期研究员计划， Abram Demski已经签约加入我们的核心研究团队。金宝博娱乐Abram计划在南加州大学完成计算机科学博士学位后，于2016年底或2017年初加入该公司。Mihály Bárász也将在未来加入我们的核心研究团队，我们正在考虑其他几个有前途的研究金宝博娱乐奖学金候选人。

在更接近的期限中，数据科学家Ryan Carey一直在与我们的机器学习议程合作，并将在9月份加入美国作为助理研究员。金宝博娱乐

我们最近还聘请了一个新的办公室经理，Aaron Silverbook和CommóRiain的通信和开发管理员。

我们开放了类型理论职位广告，并且更普遍寻求金宝博娱乐研究研究员具有强大的数学直觉和用于正式化和解决困难问题的人才，或用于肉体出版和写作出版物的结果。

我们还在寻求通讯和外展专家（例如，具有非常强大的写作技能的计算机程序员），以帮助我们与热闹的公众和学术AI风险谈话保持步伐。如果您有兴趣，请发送简历和非小说写样品抢．

优先3：与其他研究人员合作和沟通金宝博娱乐

2016年有很多新标志，AI对准正在进行（相对）主流：

Miri的目标是确保AI对齐问题得到解决，无论是Miri解决它还是其他组。因此，我们通过针对对齐问题的新涌入的新涌入，并将其视为培育领域的重要时间。

随着AI安全研究更加主流，金宝博娱乐研究人员的池可以与之对话变得更大。与此同时，我们自己的问题方法 - 专门关注最长，高赌注，且理解的问题不足，以及部分的零件与学术和行业激励有关的态度- 仍然不寻常。缺席Miri，我认为这部分谈话将几乎完全被忽视。

帮助推广我们的方法并发展领域，我们打算举办针对各种学术观众的更多研讨会。我们将在不久的将来托管一台机器学习车间，并且可能会像CSRBAI一样运行更多的活动。我们还有一个过去的技术结果，可以编写，我们预计将为从事计算机科学，经济学，数学逻辑，决策理论和其他领域的更多研究人员来说是有价值的。金宝博娱乐

我们特别有兴趣寻找同时击中优先事项1和3的方法，追求重要的研究方向，这也有助于我们对更广泛的学术界建立更强大的联系。金宝博娱乐我们新的研究议程的几种原因之一是它可能会鼓励ML社区更多的协调工作。金宝博娱乐

Short version: in the medium term, our research program will have a larger focus on error-tolerance and value specification research, with more emphasis on ML-inspired AI approaches, and we’re increasing the size of our research team in pursuit of that goal.

罗布，马洛，我将在9月份介绍我们的资金局势和组织战略，当我们开始我们的2016年筹款驱动器时。作为该系列帖子的一部分，我还将更多地撰写更多关于我们目前的策略如何适应我们的长期目标和优先事项。

最后，如果你正在参加有效的利他主义全球本周末，注意我们将运行两个研讨会（一在杰西卡的新项目上，其他关于上述新的逻辑不确定性结果），以及一些办公时间（两者都与金宝博娱乐研究团队和管理团队）。如果你在那里，请随时掉下来，打招呼，并询问我们一直在做什么。