美里的2018资金筹集活动

2019年1月更新: MIRI 2018年筹款活动现已结束。

MIRI是一个数学/CS研究非营利组金宝博娱乐织，其使命是最大化比人类更聪明的人工智能的潜在人道主义利益。你可以更多地了解我们所从事的工作。”确保比人类聪明的智慧有一个积极的结果”和“嵌入式代理．”

我们今年的筹资目标是基于在2018年筹集足够资金，以满足明年“一切照旧”的预算目标。我们认为“每年赚足够的钱支付下一年的费用”对MIRI来说是一个很好的启发，因为我们是一个快速增长的非营利组织，拥有健康的储备水平和以研究人员工资为主的预算。金宝博娱乐

我们将重点放在业务正常的支出上，以便在未来几年随着我们的继续增长，排除转移到新领域的(可能非常大的)成本，这将给模型引入大量的差异。¹

我目前对我们2019年(一切如常，没有异常值)的支出模式从440万美元到550万美元不等，预计为480万美元，高于今年的350万美元和2017年的210万美元。该模型将所有主要支出类别的输入估计范围作为输入，但绝大多数的差异来自于我们将添加到团队中的员工数量。²

在主线场景中，我们2019年的预算细目大致如下:

在这种情况下，我们目前手头有大约1.5年的储备。从1月1日到11月25日，我们已经筹集了430万美元，^3.我们的两个目标是:

• 目标1(50万美元)，这是我们今年到目前为止筹集到的资金和我们对明年照常开支的预估之间的差额。
• 目标2(120万美元)，我们的资金流需要多少才能跟上我们的增长速度，达到我们预期的上限。⁴

下面,我们将总结有什么新在MIRI再谈谈我们的提供更多资金的空间．

1.最近的更新

我们发布了一系列关于我们最近活动和策略的新帖子:

• 2018年更新:我们的新研究方向金宝博娱乐讨论了我们在过去两年里一直在加强的一套新的研究方向金宝博娱乐，它们如何与我们的代理基金会研究和我们的“反融合”目标相关联，以及为什么我们对这项研究采取了“非公开的默认”政策。

• 嵌入式代理将我们的Agent Foundations研究议程描述为针对单一金宝博娱乐核心困难的不同攻击角度:我们不知道如何为嵌入其环境中的Agent描述良好的推理和决策。

• 夏天美里更新讨论新员工、新捐款和赠款，以及我们招聘研究人员和增加人工智能对齐研究人员总数的新项目。金宝博娱乐

,添加11月28日：

• MIRI的新成员:爱德华·克米特Haskell开发人员Edward Kmett，他在函数式编程中推广了透镜的使用，并维护了大量围绕Haskell核心库的库。

• 2017年回顾回顾我们去年的活动及捐助者的支持。

我们的2018年更新讨论了我们现在想招募的工程师和计算机科学家的范围要大得多，我们在不久的将来想要招募的人员总数也要大得多:

我们正在寻找任何能让我们“变得更少”的人困惑关于人工智能对齐的工作要更快。

在实践中，这意味着:那些天生就以数学或代码为思维方式的人，那些认真对待AI对齐问题的人，以及那些一般都很有能力的人。特别是，我们正在寻找高端谷歌程序员级别的能力;你不需要只有百万分之一的考试分数或命运的光环。你也不需要有博士学位，明确的ML背景，甚至之前的研究经验。金宝博娱乐

如果你符合上述条件，并且在MIRI工作的想法对你有吸引力，我建议发送工作申请或者把你的问题巴克Shlegeris他是MI金宝博娱乐RI的一名研究员，一直在帮助我们招募人员。

我们也在招聘代理基金会的角色，尽管速度要慢得多。对于这些角色，我们建议与自己和其他人进行互动，解决AI对齐问题Less Wrong and the AI Alignment Forum，或在当地MIRIx组。然后，我们通常会从我们通过上述渠道、参观和活动了解到的人员中聘请代理基金会的研究人金宝博娱乐员人工智能暑期研究员计划．

Scott Garrabrant最近发布了一篇关于这些问题的直觉的文章定点练习，或网站上的各种资源米里研究指金宝博娱乐南．代理基金会/嵌入机构近期的一些公共工作包括:

• 以致艾圣斯特山姆的untrollable之前解释说,插图形式，表明存在一种贝叶斯解决方案来解决一个基本问题non-Bayesian逻辑不确定性工具(最终在逻辑归纳）.这告诉我们什么是可能的，并可能导致进一步的进展的方向贝叶斯逻辑的不确定性．
• 斯科特·加拉布兰特概述分类古德哈特定律的表现方式
• 山姆的逻辑电感拼接结果方法的一个版本铺瓷砖问题对于逻辑上不确定的行为人。
• 模型成本的囚徒困境:的修改版本开源的囚徒困境在这种情况下，代理必须支付资源才能相互建模。
• 收敛于相关均衡的逻辑电感器(类):逻辑电感的博弈论分析。
• 新结果渐进决策理论和当EDT=CDT时，ADT做得很好代表了在学习正确的基础上理解什么是可能的增量进步反设事实．

这些结果相对于Nate即将出版的瓷砖剂论文或Evan Hubinger, Chris van Merwijk, Vladimir Mikulik, Joar Skalse和Scott Garrabrant即将出版的“内部对齐问题”来说是相对较小的。不过，它们应该能很好地反映出我们代理基金会工作最近的一些方向。

2.提供更多资金的空间

如上所述，我们2018年预算中最大的不确定性来源是我们雇佣了多少研究人员，以及我们在搬到新办公室上花了多少钱。金宝博娱乐

在2017年的筹款活动中，我们设定了在2018-2019年招聘10名新研究人员的目标。金宝博娱乐到目前为止，我们增加了两名研究人员，有足够金宝博娱乐多的有前途的候选人在酝酿中，我仍然认为10个是可行的(尽管雄心勃勃)目标。

在去年(并持续到2018年)我们从捐赠者那里得到了惊人的支持之后，我们得到的资金远远超过了我们的预期，而且我们发现了更多有效使用这些资金的方法。特别是，我们已经能够将2017年获得的“奖金”支持转化为扩大招聘范围的努力。因此，我们2018年的支出约为350万美元，实际上与我在2017年对2019年预算的估计值相符，而不是我对2018年的预测——这比我的预测大了一大步，比去年的210万美元预算更大了一大步。⁵

我们的两个筹款目标，目标一(500美元)及目标二(1.2美元)，符合我们可以很容易预测和解释的预算需求。由于2017年捐赠者的支持大大增加，我们的2018年进展得更好，我们今天可能处于类似的情况，但我不确定是否如此。

具体地说，我们的决策因为我们所看到的惊人的支持而发生了一些改变:

• 我们在所有费用报销上花了更多钱计算机科学家面临人工智能风险研讨会。我们在2月份举办了第一个这样的研讨会，并看到了作为一个场所，有相关技术经验的人开始更多地推理人工智能风险的很多价值。从那以后，我们在2018年又举办了7场活动，2019年还计划举办更多活动。
  正如所希望的那样，这些研讨会也激发了人们加入MIRI和其他人工智能安全研究团队的兴趣。金宝博娱乐这导致了一名全职MIRI研究人员的聘用，以及10名有良好前景的候选人在2019年金宝博娱乐加入全职，包括两名最近的实习生。

• 我们一直愿意并能够为顶级技术人才支付有竞争力的薪水。一个特殊的例子是雇佣相对高级的研究人员，比如金宝博娱乐爱德华Kmett．

• 我们提高了一些现有员工的工资。我们有一个非常忠诚的员工，一些员工在MIRI之前要求相当低的工资，以帮助保持MIRI的组织成本较低。这给员工带来的不便在我们目前的组织规模下没有多大意义，无论是在我们团队的生产力方面，还是在他们的福祉方面。

• 我们运行了一个暑期研究实习计金宝博娱乐划，比我们不这样做的规模更大。

• 由于我们已经考虑了新的办公空间的选择，以适应我们的扩张，我们已经能够过滤较少的价格相对适合。我们还可以花更多的钱进行改造，我们希望创造一个工作环境，让我们的研究人员可以在更少的干扰和不便下工作。金宝博娱乐

2018年带来了一个积极的更新，我们有能力以成本效益将意外的资金增长转化为(从我们的角度来看)非常高价值的行动，上面的列表希望有助于阐明在实践中可以是什么样子。我们不能承诺2019年能够重演这种情况，但我们有理由保持乐观。

1. 也就是说，我们的商业模式试图消除一次性的异常值成本，以便更容易看到MIRI支出中的“新常态”是什么，并考虑我们的长期增长曲线。↩
2. 这个估计是相当粗略和不确定的。这个模型的一个缺点是，它把输入当作是独立的，而事实并非总是如此。我也没有试图解释这样一个事实，即我们可能会在我们看到更多成功的筹款的世界中花费更多。

   然而，对最终输出的敏感性分析显示，这一估计中的绝大多数不确定性来自我们雇用了多少研究人员，这与我的预期相符，并表明该模型在跟踪直观上重要的变量方面做得不错。金宝博娱乐当我以其他方式计算我们的资金状况时，当我考虑不同的资金情况时，我也得出了类似的目标。↩

3. 这不包括指定用途资金人工智能的影响这是一个独立的研究小组，机构设在M金宝博娱乐IRI。↩
4. 我们也可以将目标设定为10万美元，以达到目标区间的底部440万美元。然而，我担心10万美元的目标会误导我们，因为我们考虑的是440 - 550万美元的预算。↩
5. 引用我们的2017年筹集资金后“如果我们成功了，我们估计2018年的预算将是280万美元，2019年的预算将是350万美元，高于2017年的约190万美元。”190万美元是2017年结束前的估计数字。我们现在将这个数字修正为210万美元，这正好与我们2016年对2017年的估计相符。↩