2016年回顾

||Miri战略

现在是我对Miri的活动的年度审查了。1在这篇文章中，我将总结我们在2016年所做的事情，看看我们的活动与我们之前陈述的目标和预测相比如何，并反思我们过去一年的战略是如何适应我们作为一个组织的使命的。我们将在4月份发布2017年的战略更新。

在2015年加倍研究团队的大小后，金宝博娱乐2我们在2016年放慢了增长速度，并专注于将新添加的内容整合到我们的团队中，取得研究进展，并将现有成果的backlog写下来。金宝博娱乐

2016年对我们的研究前沿来说是重要的一年，我们的新研究人员做出了一金宝博娱乐些最显著的贡献。我们最大的新闻是斯科特·加拉布兰特的逻辑电感器框架，这代表了我们迄今为止在逻辑不确定性问题上最大的进步。我们另外发布了”高级机器学习系统对齐金宝博官方“（aamls）是由杰西卡泰勒施用的新技术议程。

我们还在去年与更广泛的AI社区一起参与，例如，通过月长坚固耐用的人工智能的古典系列我们与人类学院的未来共同，通过今年的许多事件谈判和参与面板。

2016年金宝博娱乐研究进展

我们今年在我们中看到了重大进展代理基金会议程包括Scott Garrabrant逻辑电感器形式主义(这可能代表了我们迄今为止最重要的技术成果)和Vingean反思中的相关发展。与此同时，我们在误差容忍度和值规范方面看到的进展相对较小计划要在2016年投入更多。以下，我将注意到我们每个研究领域的亮点：金宝博娱乐

逻辑不确定性和归化诱导
  • 2015年进展：很大。(预测:谦虚。)
  • 2016年进展：很大。（预测：很大。）

我们看到了与逻辑归纳相关的大量结果。2015年底由Scott Garrabrant领导的早期工作中出现的逻辑归纳（2016年4月撰写），这些逻辑不确定性划分了逻辑不确定性问题分成两个子问题．斯科特展示了一次使用满足高度一般“逻辑归纳标准”的算法一次可以解决这两个问题。

该标准为理解资源限制下的理想化推理提供了一种简单的方法。用安德鲁·克里奇(Andrew Critch)的话来说，逻辑归纳是“计算机科学的元数学问题的金融解决方案”:一种将合理的概率赋予任意(经验的、逻辑的、数学的、自我参照的等)句子的过程，其速度超过了演绎，可以用不可利用的股票市场类比来解释。

我们2016年在该领域的另一项主要工作是由MIRI研究助理Vanessa Kosoy领导的独立研究路线。”金宝博娱乐最优多项式估计：近似算法的贝叶斯概念Vanessa从比逻辑归纳法更复杂的理论角度来处理逻辑不确定性的问题，为定义计算上不可行的对象的最佳可行近似提供了一种形式主义，这些对象保留了这些对象的一些相关属性。

决策理论
  • 2015年进展：适度。(预测:谦虚。)
  • 2016年进展:谦虚。(预测:谦虚。)

在定义逻辑反事实的问题上，我们继续看到一系列有趣的结果。2016年，我们开始将逻辑电感框架应用于决策理论问题，工作的思想通用电感器．安德鲁克里奇也开发出来解决政策分歧的游戏 - 理论方法这优于标准的妥协方法，也允许谈判者对事实问题不同意。

我们有许多积压的结果要写在这个空间。我们最新的。”大马士革死里逃生“总结了功能决策理论的案例，这是系统地优于决策理论和博弈论中传统的学术观（因果和证据决策理论）的理论。金宝博官方这是我们用于研究逻辑反事实和相关的公开问题的基本框架，是一个很好的介绍文件，用于了解我们在这个空间中的其他工作。

关于我们最近在这个主题上的工作的概述，请参阅Tsvi Benson-Tilsen的决策理论指数关于研究论坛。金宝博娱乐

Vingean反射
  • 2015年进展：适度。(预测:谦虚。)
  • 2016年进步：适度至关重要。（预测：有限。）

我们去年在反思推理方面的主要结果是关于逻辑电感的自信心。在看到Vingean反射多年来没有重大进展之后，最后一大步可能是Benya Fallenstein的模型多态提议在2012年末我们计划在2016年取消这一问题的优先级，因为我们认为在取得更大进展之前，还需要其他工具。然而，在2016年，逻辑归纳法在解决一些突出的贴片问题上出人意料地有用。

如“逻辑归纳“逻辑电感器提供了一个简单的自信推理演示，这是高度一般和准确的，是没有悖论的，并为推销人的信仰分配合理的信任。这提供了一些证据表明，逻辑不确定性本身的问题是关于智力理论基础的许多谜题的核心。

容忍误差
  • 2015年进展:有限。(预测:谦虚。)
  • 2016年进展:有限。(预测:谦虚。)

2016年我们发布了“高级ML系统对齐金宝博官方“研金宝博娱乐究议程，重点是误差容忍和价值规范。这些区域发生的进展较少，部分预期部分是因为这里的调查仍然非常初步。我们还在2016年末的研究总体上花了更少的研究，而不是金宝博娱乐我们计划的，部分原因是我们花了很多时间编写了我们的新结果和研究建议。

内特在我们的10月AMA他认为这次在绘制撰写的撰写2016年错误之一的时候投资，我们计划在2017年在纸质写作上花费更少的时间。

我们2016年的容错工作包括“因果反应性实用性漠不关心的两个问题“我们花了一段时间，我们花了讨论和批评Dylan Hadfield-Menell的提议浮雕浮雕．我们计划在今年晚些时候更广泛地分享我们对后一个研究方向的想法。金宝博娱乐

价值规范
  • 2015年进展:有限。（预测：有限。）
  • 2016年进展：弱于谦虚。(预测:谦虚。)

虽然我们去年计划将更多的注意力放在价值规范上，但是我们最终取得的进展比预期的要少。我们在这方面的工作包括Jessica Taylor和Ryan Carey的文章在线学习和杰西卡的分析错误是如何在人类相互咨询的系统中传播的。金宝博官方

我们对去年在代理基金会议程上取得的进展感到非常满意，我们希望看到我们开发的新工具带来更多进展。与此同时，我们在AAMLS议程中处理的新问题有多容易处理还有待观察。

2016年金宝博娱乐研究支持活动

9月，我们请到了瑞安·凯里作为助理研究员来支持杰西卡在AAMLS议程上的工作。金宝博娱乐3.我们的助理研究员奖学金项目似金宝博娱乐乎进展顺利;在和Jessica一起编写结果时，Ryan给了我们很大的帮助。检测在线学习者“），以及设置与Patrick Lavictoire项目的Tensorflow工具。

除了新研究研究员的石板之外，我们可能会在今年扩展该计划，并带入其他助理研究员。金宝博娱乐

专注于与我们的技术研究计划相对直接相关的其他活动，包括与工业界和学术界的研究人员合作和同步，2016年，我们:金宝博娱乐

总的来说，2016年我们的研究团队增金宝博娱乐长略微慢于预期。我们还在接受申请人类型理论职位（以及在Miri的其他研究角色金宝博娱乐，通过我们的金宝博官方 ），但我们希望在我们专注于船上的核心研究人员的情况下，我们预计至少会有未接下来的6个月内未填充的角色。金宝博娱乐4

2016年一般活动

同样在2016年，我们:

2016年筹款

2016年是Miri筹款努力的一个很好的一年。我们共提出了2285200美元,一个44%增加2015年的1,584,109美元。这一增加在很大程度上是：

  • 一般授予500000美元来自公开慈善项目．5
  • 一个捐赠300000美元从布莱克Borgeson。
  • 贡献93548美元从提高有效捐赠。6
  • 研究金宝博娱乐资助$ 83,309从生命研究所的未来。7
  • 我们的社区在秋季筹款活动期间的强劲投票率595947美元他是我们迄今为止的第二大筹资人。
  • 尽管我们没有运行冬季筹款机构，但仍然是一年四年结束的令人欣慰的支持。

假设我们能够继续维持这个筹资水平，这代表我们的主要筹资目标已经初步实现从2016年1月：

我们下一个大的努力将是缩小新预算和年收入之间的差距。为了维持我们目前的增长计划——目标是扩大到一个大约10名全职研究人员的团队——我们需要在2017年年中开始持续获得接近200万美元的年收入。金宝博娱乐

随着下图所示，2016年持续发展我们的筹款努力的积极增长趋势。

从这些年度比较的绘制结论可能有点棘手。Miri在这段时间内完成了重大的组织变迁，特别是在2013年。我们还转型为2014年的基于权衡的会计，这也使比较与前几年复杂化。

然而，我们可以强调2016年取得的某些进展:

  • 秋季筹款人：我们首次在2016年举行单一筹款人，而不是我们的“传统”夏季和冬季筹款人 - 从9月中旬到10月31日。虽然我们没有击中我们的初始目标为750k,我们希望我们的资助者正在等待今年晚些时候给予，并在年底弥补短缺。我们很高兴在2016年底，他们在大量方面通过了大量的，其中一些可能由社区成员的公开职位激励。8总的来说，我们在2016年12月收到的捐款(约43万美元)超过了前两年同期的任何一个月，这是我们积极开展冬季募捐活动时收到的一个有趣的数据点。以下图表进一步说明了我们的支持者对秋季筹款活动的反应:


    请注意，如果我们将开放慈善项目的拨款从Pre-Fall数据中移除，四个时间段的比率看起来都非常相似。总的来说，这些数据表明，我们现有的一部分资助者选择等到年底才进行捐赠，而不是一群新资助者在最后一刻才加入。188betapp
  • 2016年，我们从回头客那里获得的支持尤为显著，留存率达到89%(以美元计)来自2015年的资助者。从更广泛的背景来看，平均礼物留存率一个具有代表性的部分在过去的5年里，美国的慈善空间是46%
  • Miri的独特资金的数量在2016年增加了16％- 从491到571--继续普遍增加趋势。2014年由于社区积极参与而在此图中对此图表非常高我们令人难忘的SVGIVES活动．9
  • 国际支持继续占捐款的20%左右。与美国不同于新的机构支持（公开慈善项目）的增加，国际支持增长是由欧洲（特别是斯堪的纳维亚和英国），澳大利亚和加拿大的人士推动的。
  • 雇主匹配计划的使用同比增长了17%2016年，通过企业配对项目，我们收到了超过18万美元的捐款，这是迄今为止最高的捐款。初步迹象表明，这种增长将持续到2017年。
  • 一项对小型、中型、大型和非常大型资助人的捐款的分析显示，从2015年起，这四个资助人的捐款都呈比例增长：

由于我们在2016年筹集了超过200万美元，加州法律要求我们准备一份由独立注册会计师(CPA)审计的年度财务报表。同我们过去几年的财务报告一样，这份报告将在9月底前提交透明度和金融类股页。

展望未来

的2016年7月从2015年年中开始，我们的目标如下:

  1. 加速增长:“扩展到一个大约10人的核心研究团队。金宝博娱乐”(来源）
  2. 类型理论在理论项目中：“雇用一个或两种类型的理论家全职开发相关工具。”（来源）
  3. 独立审查：“我们还研究了直接从独立研究人员直接征求关于我们的研究议程和早期结果的选项。”金宝博娱乐（来源）

我们目前有7名研究研究员和助理研究员，并计划在不金宝博娱乐久的将来雇用更多的人。我们希望在未来3-4个月内实现10人的目标，并在今年晚些时候继续扩大研究团队。金宝博娱乐如上所述，我们推迟了对类型理论家的聘用。

开放慈善项目目前正在审查我们的研究议程金宝博娱乐作为他们评估我们未来拨款的一部分．他们发布了一份Miri的大图片组织审查九月，相伴而来评论几个最近的Miri论文（Nate回应了在这里）.这些评论通常对我们的工作持批评态度，其中Open Phil对我们代理基金会的议程和我们迄今为止的技术进步表达了一些保留意见。然而，我们乐观地认为，我们将能够在今后的讨论中更好地向Open Phil提出我们的理由，并在哪些未决问题最值得关注的问题上总体上取得更多的共识。

在我们的2016年8月战略更新，Nate概述了我们的其他组织优先事项和计划：

  1. 技术研究：继续在我们金宝博娱乐的代理基金会议程上努力，同时开始工作AAMLS。
  2. AGI对齐概述:“Eliezer Yudkowsky和我将把我们的时间分配在解决这些问题和做说明性写作之间。以利以谢写的是对齐理论，而我写的是MIRI战略和预测问题。”
  3. 学术推广活动:“为了帮助推广我们的方法和发展这个领域，我们打算举办更多针对不同学术受众的研讨会。我们将在不久的将来举办一个机器学习研讨会，并可能举办更多类似CSRBAI这样的活动。”
  4. 纸质写作：“我们也有一个过去的技术结果来编写，我们预计将对计算机科学，经济学，数学逻辑，决策理论和其他领域的更多研究人员来说是有价值的。”金宝博娱乐

所有这些仍然是我们的优先事项，尽管我们现在认为第5个更重要(第6个和第7个不那么重要)。我们已经运行了3毫升研讨会，并在我们的AAMLS研究议程上取得了更多的进展。金宝博娱乐我们现在对我们的AGI对齐概述准备了大量内容，并且开始了（可能相当长）编辑过程。我们还发布了“逻辑归纳”并在管道中拥有许多其他纸。

我们将在下个月的战略更新帖子中提供更多关于我们的优先级如何自8月以来发生变化的细节。与过去几年一样，人工智能对齐问题的对象级技术研究将继续是我们的首要任务，尽管我们将金宝博娱乐在研究重点和推广计划上经历一个中等规模的转变。10

  1. 参见我们之前的评论:2015年，2014年，2013年．↩
  2. 从2015年回顾:“帕特里克·拉维奇(Patrick LaVictoire)三月加入，杰西卡·泰勒(Jessica Taylor)八月加入，安德鲁·克里奇(Andrew Critch)九月加入，斯科特·加拉布兰特(Scott Garrabrant)十二月加入。随着Nate转变为非研究角色，我们从3人的研究团队(Eliezer金宝博娱乐, Benya和Nate)成长为6人的团队。”↩
  3. 正如我所注意到的AMA：“在Miri，研究员是金宝博娱乐一个全职的永久性地位。学术界的一个体面的类比可能是研究员来到助理研究员，作为全职教师是发布的。金宝博娱乐助理研究奖学金旨在成金宝博娱乐为一个更初级的职位，固定的1-2年。“↩
  4. 在临时，我们的研究实习生Jack Gal金宝博娱乐lagher继续在这个领域进行有用的贡献。↩
  5. 请注意，本节的数字可能与以前公布的估计数字不完全一致，因为经常对捐款数据作小的修正。还请注意，这些数字不包括实物捐赠。↩
  6. 这个数字只计算通过REG对MIRI的直接贡献。REG/EAF对MIRI的支持在计算通过EAF的捐款时接近15万美元，许多是根据REG的建议做出的。↩
  7. 我们还被授予了75000美元的赠款来自长期网络安全中心，与Stuart Russell和加州大学伯克利分校的一位博士后一起进行一个修正项目，但我们无法在相关时间内填补预期的博士后职位，因此项目被取消了。斯图尔特·罗素随后获得了一大笔赠款来自公开慈善项目推出新的学习浮雕和其他AI安全问题的新学术研究所，金宝博娱乐人类兼容人工智能中心．↩
  8. 我们收到了投资分析师及时的捐助者建议本·洛杉矶，人类未来研究所研究员金宝博娱乐欧文棉花,Daniel Dewey和Nick Beckstead公开慈善项目（回声80000小时）.↩
  9. 我们从2015年的独特资助者保留了45％，非常符合美国慈善空间的资助留言，这与前一点相结合，建议返回MIRI资助者比大多数人更加支持。↩
  10. 我感谢Rob Bensinger, Colm Ó Riain和Matthew Graves对本文的巨大贡献。↩