Miri的2019年筹款人得出结论。

在过去的两年里，巨大的捐助者支持帮助我们为我们AI对准研究团队的大小增加了两倍。金宝博娱乐击中我们今年的100万美元筹款目标将使我们能够在2020年及以后继续发展我们的增长，招募尽可能多的辉煌思想，以便我们认为是对准的中央技术障碍。

我们的筹款人进度，实时更新（包括在Facebook期间制作的捐赠和比赛送周二事件）：

---

---

Miri是一个CS / MATH研究金宝博娱乐小组，其目的是以已知的目标理解如何可靠地“瞄准”未来的通用AI系统。金宝博官方有关该研究区域的介绍，请参阅金宝博娱乐确保聪明的智慧有积极的结果和高级机器学习系统中学到的学习优化风险金宝博官方．有关我们如何接近问题的背景，请参阅2018年更新：我们的新研究方向金宝博娱乐和嵌入式机构．

在2017年底，我们宣布计划大大发展我们的研究团队，在未来两年内招聘“大约十个新的研究人金宝博娱乐员”。两年后，我很高兴地报告我们八个研究人员，我们在明年的2月开始了第九次，这将使我们的总研究团队规模为20。金宝博娱乐¹

我们对目前的研究方向仍然很兴奋，并继续觉得我们可以通过向团队增加额外的研金宝博娱乐究人员和工程师来更快地对他们进行进展。因此，我们的主要组织优先事项仍然是相同的：推动我们的研究方向，并发展研究团队加速我们的进步。金宝博娱乐

While we’re quite uncertain about how large we’ll ultimately want to grow, we plan to continue growing the research team at a similar rate over the next two years, and so expect to add around ten more research staff by the end of 2021.

我们预计的2020年预算为6.4亿美元 - 740万美元，点估计为6.8亿美元，²从今年600万美元。^3.在主线 - 增长场景中，我们预计我们的预算看起来像这样：

展望未来，由于员工工资占我们支出的绝大部分，我预计我们的支出将逐年增加，而研发团队的增长将继续是我们的首要任务。金宝博娱乐

鉴于2020年的680万美元的预算，我们目前在此筹款机构中筹集100万美元的现金将使我们处于2020年的巨大职位。击中1万美元的职位，我们的现金储量为1.25-1.5年进入2020年，这正是我们希望能够支持持续招聘的努力，并提供所需的信心，并支持我们的薪水和其他财务承诺。

有关我们今年的更多详细信息，以及我们2020年的计划，请阅读！

1.讲习班和扩展

如果你住在一个世界中不知道微积分，但你知道有些东西丢失了，一般做法将最大限度地提高您的概率吗？

如果你没有开始了解一些东西，怎么了？你和一些朋友吗？一起做了研究金宝博娱乐在某种程度上让你能够注意到它，提出正确的问题？

Miri认为，人类目前缺少一些核心概念和方法，即AGI开发人员需要将其系统保持在道路上。金宝博官方我们认为我们已经找到了研究路径，可能有助于金宝博娱乐解决这种问题，以及通过实验迅速改善我们的理解的好方法;我们渴望为努力添加更多的研究人员和工程师的眼睛和大脑。金宝博娱乐

MIRI目前的大部分工作都是在Haskell中进行的，并受益于函数式编程和依赖类型系统的经验。金宝博官方更一般地说，如果你是一个程序员，喜欢寻找最合适的抽象来适应一些用例，开发干净的概念，制作并部署优雅的组合符，或者大胆地尝试回答计算机科学中最深刻的问题，那么我们认为你应该这样做申请在这里工作，了解我们作坊， 或者主动提出问题．

如上所述，我们的研究团队正在快速增长。金宝博娱乐Miri团队的最新补充包括：

Evan Hubinger，一个合作社“高级机器学习系统中学到的学习优化风险金宝博官方“。Evan以前设计了功能规划语言椰子，是Openai的实习生，并在Google，Yelp和Ripple下完成了软件工程工作。

Jeremy Schlatter是一个以前在谷歌和Openai工作的软件工程师。Jeremy的一些公共项目有助于包括Openai的dota 2机器人和Go编程语言的调试器。

Seraphina不行!，在2020年2月加入Miri.Searaphina本月从Oberlin College毕业，其中在计算机科学和物理学中的数学和未成年人。她以前已经完成了超轻型暗物质候选人，深增强学习和金宝博娱乐教学神经网络的研究，以做高中数学。

雷夫肯尼迪，谁加入Miri后，担任有效的利他宾馆的独立存在风险研究员。金宝博娱乐Rafe先前工作在数据科学启动Nstack，他在物理和哲学中占据了牛津大学的Mphysphil。

Miri的雇用和工作试验通常从我们的4.5天，所有费用支付计算机科学家面临人工智能风险（AIRCS）研讨会系列。

我们的研讨会计划是我们所知道将有希望的有才能的人带入我们认为是具有高度贡献的有用轨迹的有用轨迹的最佳方式。金宝博娱乐建立了参与者的爱情和我们认为非常有价值的经验，我们计划继续尝试新版本的研讨会，并期望在今年的八个历程中运行十个研讨会。

这些计划导致Miri以及其他AI安全组织的新员工，我们发现他们为所有人向AI安全引入才能的所有人都有价值，以衡量多年来一直在考虑这些问题的人。

如果您有兴趣参加，申请这里．如果您有任何疑问，我们非常鼓励您拍摄巴克希盖斯一封电邮。

我们的Miri夏天研究员计划对我们起着类似的角色，但更有针对数学家。我们考虑在2020年以更短的格式运行MSFP。有关MSFP，电子邮件的任何问题COLMóRIAIN.．

2.研金宝博娱乐究和写作

我们的2018战略更新仍然是Miri展望今天的伟大概述，描述了我们如何考虑我们的研究，铺设我们的研究金宝博娱乐在这里工作的情况，并解释为什么我们的大部分工作目前没有公开的．

Given the latter point, I’ll focus in this section on spotlighting what we’ve written up this past year, providing snapshots of some of the work individuals at MIRI are currently doing (without any intended implication that this is representative of the whole), and conveying some of our current broad impressions about how our research progress is going.

我们今年的一些主要陈列和出版物是：

• “高级机器学习系统中学到的学习优化风险金宝博官方，“由Evan Hubinger，Chris Van Merwijk，Vladimir Mikulik，Joar Skalse和Scott Garrabrant。生成本文的过程明显阐明了我们自己的思维，并知情斯科特和亚伯兰的讨论子系统金宝博官方对齐在 ”嵌入式机构．”Scott views “Risks from Learned Optimization” as being of comparable importance to “Embedded Agency” as exposition of key alignment difficulties, and we’ve been extremely happy about the new conversations and research that the field at large has produced to date in dialogue with the ideas in “Risks from Learned Optimization”.
• 对人类模型的思考由Scott Garrabrant和基于Deepmind的Miri研究助理ramana Ku金宝博娱乐mar认为，AI对准研究界应该开始优先考虑“在没有人为模型的情况下运作的方法。”人类模型在对齐计划中的作用将我们击中我们作为其中一个the most important issues for MIRI and other research groups to wrestle with, and we’re generally interested in seeing what new approaches groups outside MIRI might come up with for leveraging AI for the common good in the absence of human models.
• “在大马士革欺骗死亡，“由Nate Soares和Ben Levinstein。我们在2017年在正式的认识论研讨会上介绍了这篇决定论文，但现在已经被接受了一个轻微编辑的版本哲学杂志， 之前投票哲学中第二高质量的学术期刊。
• 这校准研究领域指南金宝博娱乐，对于个人研究人员来说，非常可访问和广泛适用的资源，以及占领地面的群体。金宝博娱乐

我们最近的公众写作包括一个有效的利他主义论坛ama用巴克脚叉，Abram Demski's自动预测的寓言，以及许多有趣的输出AI对准写作日我们托管了今年的Miri夏季研究员计划。

去年转向我们的研究团队金宝博娱乐宣布多产的Haskell程序员Edward Kmett加入了MIRI团队，解放了他去做他热爱的事情——改进高度可靠(同时也非常高效)编程语言的状态。MIRI执行董事Nate Soares认为这一目标非常雄心勃勃，但如果现有的编程语言既高效又能对其属性进行强有力的正式保证，那么世界将会变得更好。

今年Edward搬到伯克利与Miri团队的其他队伍更密切地工作。我们已经发现让他为他提供想法和贡献来对我们更具工程为导向的项目非常有帮助，帮助为我们的工作提供一些实际的基础。Edward也继续通过在功能规划和类型理论世界中招聘他的联系。

与此同时，我们最新的补充，Evan Hubinger计划继续致力于解决内部对齐为了放大．埃文概述了他的金宝博娱乐研究计划在AI对齐论坛上，他指出轻松的对抗训练是他的研究议程的一个相当最新的陈述。金宝博娱乐Miri的斯科特和其他研究人员认金宝博娱乐为Evan的工作非常令人兴奋，无论是在放大的背景下，在其他对准方法的背景下，它可能证明是有用的。

Abram Demski是另一名Miri研究员，他在去年写金宝博娱乐了大量的研究思想。亚伯拉姆报告（这里的富勒斯想法）他今年从传统的决策方法中迁离了传统的决策方法，现在在学习理论方法上花费更多时间，类似于Miri研究助理Vanessa Kosoy。金宝博娱乐引用亚伯拉姆：

2018年12月左右，我对“古典决策理论”心态（其中学习和决策被视为单独的问题）进行了巨大的更新，并采取学习理论方法。[......我有一些尝试将我的更新与UDT和学习理论方法进行传达，包括这篇文章．我和丹尼尔·科科塔伊洛谈过，他写道承诺比赛问题，我认为这很好地体现了这一点。

对于她而言，Vanessa最近的工作包括论文“授权加固学习：学习避免陷阱有点帮助“她在ICLR 2019 Safeml研讨会上介绍了哪些。

我将再次注意到以上是特定研究方向的所有调查人员在Miri正在追求的各种研究人员，并且不一定代表其他研究人员的观点或焦点。金宝博娱乐最近降低指出，Miri有一个非常平坦的管理结构。我们为最大限度地减少官僚机构，并尊重我们的研究人员在对对齐问题的内部视图模型以及在取得进展之后所需的内容的内部视图模型的能力。金宝博娱乐Nate最近表达了类似的想法我们如何做出不默认的．

因此，Miri更具数学思考的研究，特别是由个人模型和研究味道决定，而不期望每个人都会分享金宝博娱乐同样对问题的看法。

关于他的整体（非常高水平）的感觉如何进行新的研究方向正在进行中，Nate Soares报告：金宝博娱乐

2019年的进展比预期慢，但我有一种稳步发展的感觉。特别是，我的经历是每周比我前一周的一周稳定地感到困惑，其他研究人员遇到了困难，这些研究人员阻止了我们要做的事情，盯着他们几个小时，然后意识到我们金宝博娱乐’d been thinking wrongly about this or that, and coming away feeling markedly more like we know what’s going on.

An example of the kind of thing that causes us to feel like we’re making progress is that we’ll notice, “Aha, the right tool for thinking about all three of these apparently-dissimilar problems was order theory,” or something along those lines; and disparate pieces of frameworks will all turn out to be the same, and the relevant frameworks will become simpler, and we’ll be a little better able to think about a problem that I care about. This description is extremely abstract, but represents the flavor of what I mean by “steady progress” here, in the same vein as我去年写了关于“解烧”。

我们希望这种进展能够给我们提供一个平台，让我们能够在核心AI对齐障碍上产生特别令人兴奋的结果，我希望很快就能看到这样的结果。然而，到目前为止，我对花在消除自我混淆和支持框架上的时间感到失望;我之前预计会很快有更令人兴奋的结果。

在研究金宝博娱乐我们正在努力的情况下，在相当多的结果之间存在年份并不罕见，尽管我们也应该期望有时会看到瀑布的瀑布，如果我们确实朝着正确的方向推动。我的内心看法我们正在进行的工作目前预测我们在富有成效的轨道上，应该期望看到结果我们在持续时间内更兴奋。

我们的研金宝博娱乐究进展比我们希望的进展慢，但进步的速度和质量仍然是这样的，我们认为这项工作非常值得，我们仍然持乐观地转换进一步研究人员的能力进入更快的进展。与此同时，我们也（当然）寻找我们的研究瓶颈的位置以及我们如何使我们的工作更加高效，并且我们继续寻找我们可以提高我们的产出的调整。金宝博娱乐

如果未来几年进展顺利——看起来很有可能，但远不能保证——我们将继续寻找新的方法，在我们非常关心的研究领域取得进展，并继续寻找方法雇佣人员来帮助实现这一目标。金宝博娱乐

金宝博娱乐研究人员扩张是我们最大的费用增长来源，并鼓励我们在激动人心的招聘机会上移动更快，捐助者支持在我们对研究议程上的执行方式发挥着关键作用。虽然我们收到的巨大支持已经在我们的新规模处让我们处于坚实的位置，但进一步的捐助者支持对于我们继续增长，这是一个很大的帮助。如果你想玩那个部分，谢谢。

---