2018年回顾

||Miri战略

我们在2018年在Miri的主要重点是双重：研究 - 一如既往！ - 增长。金宝博娱乐

非常感谢难以置信的支持我们从捐助者收到去年，2018年我们能够积极追求我们的详细计划2017年筹款制定者员工。我们设置的最值得注意的目标是“生长大而且快速增长”我们的新研究方向金宝博娱乐从更大的团队中获益更多，需要技能，更容易雇用。为此，我们将在2019年底添加10名新的研究人员的目标。金宝博娱乐

因此，我们看到我们加快了我们在2017年开始的工作，更多地投资更多地招聘和支撑我们正在进行的增长所需的基础。自2017年筹款赛后，我们是3名新研究人员，包括哈斯克尔开发商金宝博娱乐爱德华Kmett。我现在认为，到2019年底，我们最有可能达到6-8次雇用，但仍然很可能对我来说仍然很可能，因为我们仍然与许多有前途的候选人一起参与，并继续满足更多。

总体而言，2018年是Miri的伟大一年。我们的研金宝博娱乐究继续Apace，我们的招聘努力越来越拖累了股息。

下面我会详细说明我们的：

2018年金宝博娱乐研究

我们的2018年更新讨论了我们正在追求的新研究方向，以及金宝博娱乐我们对我们的研究总体采用的不违约政策。如帖子中所述，这些新的方向旨在解烧（类似于我们继续追求的传统研究计划，并包括“寻求完全新的低级基金会进行优化，”努力弄清楚金宝博娱乐认知可以是非常透明的认知，“和”试验一些[相对深刻的对齐问题，“并要求建立软件系统和基础设施。金宝博官方

2018年，我们在这些新方向和支持基础设施上的进展稳定而显著，符合我们的高期望，尽管进展明显比我们希望的要慢，部分原因是与软件开发相关的常见困难。总的来说，我们对这些新方向非常兴奋，我们仍然非常渴望扩大团队以加速我们的进展。

同时，代理基金会的工作继续在Miri进行优先考虑。我们在这个前面的最大出版物是“嵌入式代理，“由Miri研究人员斯科特·乔布斯特和Ab金宝博娱乐ram Demski共同编写。“嵌入式机构”将我们的代理基础令人欣赏到一个中央难度的不同攻击角度：我们不知道如何为嵌入环境中嵌入金宝博娱乐的代理商来表征良好的推理和决策。

以下是去年每种研究类别发布的显着的技术结果和分析。金宝博娱乐1这些都伴随着去年的预测由斯科特·格拉德兰特（Scott Garrabra金宝博娱乐nt），Miri代理基金会工作的研究领先，以及斯科特对我们公布的工作进展的评估是针对这些预测的。下面的研金宝博娱乐究类别在“嵌入式代理。“

Miri在2018年非公开的研究的实际份额最终比斯科特金宝博娱乐在注册他的预测时大于斯科特。下面的名单是最好的想法作为一个有趣的集合（虽然不是突破性的）结果和分析，以证明我们去年在研究中探讨了一些方向的味道。金宝博娱乐因此，这些评估不代表我们的整体进展模型，并不是对该问题的良好代理。鉴于预测我们将为2019年的公开结果披露的难度难以预测，我们将无法在今年注册新的预测。

决策理论

  • 预计进展:3(适度)
  • 实际进度:2(从弱到中等)

斯科特看到了我们2018年最大的公共决策理论结果囚犯的困境，建模成本，修改版本开源囚犯的困境其中代理商必须支付资源以互相模拟。

其他重要笔记包括：

来自2018年的其他决策理论研究帖子：金宝博娱乐

嵌入式世界型号

  • 预计进展:3(适度)
  • 实际进步：1（有限）

我们的一些相对重要的结果包括嵌入式世界模型包括：

  • Sam Eisenstat不可阻挡的之前解释说在说明的形式中亚伯兰德军，表明存在贝叶斯解决方案的一个基本问题，这是一种动力的发展非贝叶斯逻辑不确定性工具（最终逻辑归纳)．这告诉我们什么是可能的，并可能导致进一步的进展的方向贝叶斯逻辑不确定性。
  • Sam Eisenstat和Tsvi Benson-Tilsen的配方对贝叶斯逻辑诱导。该框架尚未被写入，致力于通过构建贝叶斯人信任逻辑电感的信仰（这必须定期向贝叶斯队提供这些信念）的贝叶斯造型来源进入贝叶斯框架。

SAM和TSVI的作品可以被视为“真实”贝叶斯逻辑诱导的证据。然而，它也可以被视为一个示范，我们必须小心我们的意思是“贝叶斯” - 解决方案可以说是欺骗性的，而且尚不清楚你通过这种方式做出任何新的理想性质。

斯科特分配无法控制的先前结果a2（弱到谦虚的进步）而不是一个1（进度有限），但正在计算这一点2017年结果，因为它于2018年写完，但在2017年生产。

最近这方面的其他工作包括:

强大的代表团

  • 预计进展:2(从弱到中等)
  • 实际进步：1（有限）

我们最重要的2018年公共结果在此类别中可能是Sam Eisenstat的逻辑电感器百出结果的一个版本盖语问题对于逻辑不确定的代理商。2

强有力的委派的其他帖子：

子系统金宝博官方对齐

  • 预计进展:2(从弱到中等)
  • 实际进度:2

我们在2018年实现了对子系统对齐的更明显的清晰度，主要反映在Eva金宝博官方n Hubinger，Chris Van Merwijk，Vladimir Mikulik，Joar Skalse，3.和Scott Garrabrant的纸质，“来自高级机器学习系统中学的学习优化的风险。”金宝博官方4.这种纸目前正在推出在AI对齐论坛上，作为“MESA优化。“5.

斯科特盖拉德兰人规模的鲁棒性还讨论了子系统对齐的问题（“相对比例的稳健性”），以及A金宝博官方I对齐的其他问题。

其他

  • 预计进展:2(从弱到中等)
  • 实际进度:2

2018年的一些出版物，我们预计将在上述所有类别中削减最有用：

  • “嵌入式代理，“Scott和Abram的新介绍了所有上述研究方向。金宝博娱乐
  • 定点练习，由斯科特创建的一系列练习将人们介绍给代理基础研究中的核心思想和工具。金宝博娱乐

在这里，其他值得注意的帖子包括：

2018年金宝博娱乐研究项目支持

我们在2018年为该团队添加了三个新的金宝博娱乐研究人员：Ben Weinstein-Raun，James Payor，以及爱德华Kmett。

我们将在2018年在发展研究团队中投入大量的份额，一般都进入了旨在增加世界对准研究金额的活动，包括：金宝博娱乐

  • 运行八计算机科学家的风险（AIRCS）研讨会。这是一个正在进行的所有费用支付的工作室系列，用于计算机科学家和程序员，他们想要开始思考或致力于对齐方式。在这些研讨会上，我们介绍了AI风险和相关的概念，分享了一些CFAR风格的理性内容，并向Miri和其他安全研究团队介绍了参与者。金宝博娱乐我们的整体目标是造成良好的讨论，提高参与者在如何以及如何贡献的能力，以及如何劳动，以及它们是否可能有兴趣加入Miri或其他对齐组。2018年研讨会参与者，我们看到一个加入Miri全职，四次与我们一起实习，并且在一年内加入Miri的十大阶段，除了加入其他与其他安全相关组织以来的几个人之外，还有良好的前景。
  • 运行2.5周AI夏季研究员计划（AISFP）与CFAR。6.此外，Miri研究员Tsvi Bens金宝博娱乐on-Tilsen和Miri Summer实习生Alex Zhu Ran为麻省理工学院学生和校友进行了一个中午AI安全休闲。
  • 在夏天运行10周的研究实习计划金宝博娱乐，审核我们的夏季更新。实习生也参加了AISFP和联合金宝博娱乐研究研讨会与实习生人类兼容的AI中心。此外，我们在年后举行了三个研究实习生。金宝博娱乐我们希望至少有一个将在2019年加入该团队。
  • 作为我们AI安全再培训计划的一部分，为两个人提供补助金。2018年我们收到了限制资金150万美元“为一些高技术人才提供津贴和指导。该项目的目标是为优秀的候选人腾出3-6个月的时间进行再培训，这样他们就有可能过渡到全职的人工智能对齐工作。”2018年，我们向两个人发放了助学金，其中包括Carroll Wainwright谁继续成为AI伙伴关系的研究科学家。金宝博娱乐

除了上述情况，在2018年我们：

  • 雇佣额外的操作人员确保我们拥有所需的业务能力，以支持我们的持续增长。
  • 搬入了新的更大的办公空间。

2018年外联和博览会

在外联、协调和阐述方面，我们:

2018财务

筹款

2018年是Miri筹款的另一年。虽然刚刚提出的总数$ 5.1M.从2017年提出的金额下降了12％，下图显示了我们强劲的增长趋势 - 随着我所猜测的去年的评论在2017年12月在市场高位期间，看起来像由大型加密货币涌入的年份涌入的年份。7.



(在这张图表和下面的图表中，“未过期”指的是前一年没有捐款的过去支持者的捐款。)188betapp

亮点包括：

2018年，我们收到了637名独特贡献者的捐款，比2017年少16％。这一跌幅主要推动了新捐助者人数的27％，部分抵消了回报捐助者数量的持续增长持续增长的持续趋势9.：




2018年，加密货币捐赠的绝对值(价值- 120万美元)和占总捐赠的百分比(23%，2017年为42%)均有所下降。如果加密货币的价值在2019年继续反弹，我们可能会看到这一趋势逆转。

2017年，来自匹配计划的捐款大幅增加，比前一年增长了近5倍。2018年，我们参与了两个不同的注册管理的配对挑战，MIRI支持者在Facebook的“周二捐赠”活动中的参与度显著增加，MIRI在WeTrust的春季活动中取得成功，抵消了企业配对资金的小幅减少，使配对总额比2017年略有提高。下表是过去5年收到的对应数额:


开支

在我们的2017年筹款制定者员工，我预计我们将在2018年花费〜2.8米。在去年年底，我修改我们的估计：

在去年(并持续到2018年)我们从捐赠者那里得到了惊人的支持之后，我们得到的资金远远超过了我们的预期，而且我们发现了更多有效使用这些资金的方法。特别是，我们已经能够将2017年获得的“奖金”支持转化为扩大招聘范围的努力。因此,我们2018年的支出,这将会在3.5美元左右,实际匹配点估计在2017年我给我们的2019年的预算,而不是我的预测为2018 -一个大步骤从我所预测的那样,和一个更大的一步从去年的[2017]的预算2.1美元。

这篇文章接着概述了我们如何很好地利用这种“奖金”支持。这些包括，按成本降序排列:

  • 在招聘相关活动中投入更多程度，包括我们的航空公司研讨会系列;并扩大我们托管的实习生数量，增加了支付更高工资的意愿，以吸引与我们共享/审判的有希望的候选人。
  • 在选择新的办公空间以适应我们的增长时，相对于适合的价格少过滤并在装修中花费更多，否则将能够为研究人员创造更加集中的工作环境。金宝博娱乐
  • 为某些现有员工提高薪水，谁在低于市场价格。

现有混凝土数字在手中，我将在下面详细介绍我们如何将这些额外的资金纳入工作。

刚刚结束的总支出3.75美元。以下图表将2018年的实际支出与我们的预测进行了比较，以及2017年的支出。10.


正如预期的那样，2018年的人员成本继续占我们的大部分支出 - 尽管在2017年的总支出份额中占总支出的份额，因此由于与一次性成本以及一次性成本以及一次性成本以及一次性费用增加确保和翻新我们的新办公空间。

我们对招聘相关活动的支出是捕获的计划活动类别。我们提出额外资金使用的主要方式，其中占我预测的增加，如下所示：

  • 实习〜170万美元：我们平均举办了九个研究实习生〜2金宝博娱乐.5个月。我们能够为实习提供更具竞争力的工资，允许我们招募实习生（特别是具有工程焦点的人），以至于我们否则我们将在他们所提供的其他机会上获得更加困难的吸引力。我们积极兴趣聘请其中三个实习生，并为其中两个人提供了正式的优惠。我希望将在今年年底之前将其中一部至少添加到团队中。
  • AI安全再培训计划拨款54,000美元， 描述以上。
  • 我们在此类别所花费的其他额外资金的大部分旨在为正在进行的系列提供资金计算机科学家的风险车间,描述以上。

与我们的新办公空间相关的费用占了做生意的成本类别。此类别中的盈余支出由：

  • 〜$ 300K，用于确保，翻新和填写我们的新办公空间。寻找合适的新空间，以适应伯克利的增长最终比我们预期的更具挑战性和耗时。11.我们利用更多的资金用于安全首选空间之前,当我们准备搬家,并翻新空间来满足我们的需求,而如果我们一直操作与我原先预计的预算,我们几乎肯定会最终在一个更糟的空间。
  • 除了我在此类别的预测之外的剩余支出来自高于预期的法律成本，以确保员工的签证，以及许多其他子类别的略高于预计的支出。

  1. 我们对下面的更重要结果的总结主要来自我们的2018年筹款人员员工。↩
  2. 不要与内特·苏亚雷斯即将推出的瓷砖代理商纸混淆。↩
  3. Evan是MIRI研究实习生，而金宝博娱乐Chris、Vladimir和Joar是外部合作者。↩
  4. 本文以前引用了“嵌入式代理“在工作标题”下的内部对齐问题。“↩
  5. 论文的完整PDF版本将与该序列的最后一篇文章一起发布。↩
  6. 如我们所知夏季更新：

    我们拥有一个庞大而极强的申请人，超过170个申请30插槽（与2017年20个插槽的50个应用程序）。今年该计划比2017年更多的数学味道，并以与参与者的一系列新分析结束。总的来说，该计划似乎更加成功地挖掘到AI对准问题而不是前几年，以及更成功地播种参与者之间的持续合作，以及参与者和Miri员工之间。

    该程序以非常活跃的blogathon结束，具有写入：依赖类型理论和零射线推理;实用功能的概念性问题（和跟进)；完整的类：结果主义基础;和从人类行为中学习的代理无法学习人类尚未学习的人类价值观。↩

  7. 请注意，由于我们在内部跟踪捐赠之间的差异，我们在财务报表中如何在我们的财务报表中向其报告时，我们审计的财务报表可能与我们的审计财务报表略有不同。↩
  8. 对于所有工作的康斯州的COLM，他已经投入到了这个工作;看看我们的税收捐赠页面以获取更多信息。↩
  9. 2014年由于社区积极参与而在此图中对此图表非常高我们难忘的SVGives活动。↩
  10. 请注意，由于如何跟踪某些类型的费用，因此这些数字与2018年的审计财务报表略有不同。例如，在财务报表中，翻新成本被认为是一个固定资产，这些资产随着时间推移贬值，因此不会出现费用。↩
  11. 相关时间框架中可用的选项数量非常有限，大多数都没有满足我们的许多要求。Of the available spaces, the option that offered the best combination of size, layout, and location, was looking for a tenant starting November 1st 2018, while we weren’t able to move until early January 2019. Additionally, the space was configured with a very open layout that wouldn’t have met our needs, but that many other prospective tenants found desirable, such that we’d have to cover renovation costs.↩