对研究团队的更新以及重大捐赠金宝博娱乐

||消息

我们有几项重大消息要宣布,包括两个月来的新进展2017年战略更新

1.5月30日,我们收到了一个惊喜101万美元的捐赠从A.Ethereumcryptocurrency投资者。这是迄今为止我们收到的最大一笔捐款,数额很大,并将对我们来年的计划产生重大影响。

2.两位新的全职研究人员金宝博娱乐将加入MIRI: Tsvi Benson-Tilsen和Abram Demski。这是在山姆·艾森斯塔特和马塞洛·赫里肖夫加入车队之后5月.我们还开始与工程师正常工作,以获得我们新的石板软件工程师职位空缺

3.我们的两个研究人员最近金宝博娱乐离开了:Patrick Lavictoire和Jessica Taylor,研究人员以前金宝博娱乐向我们举行的工作“高级机器学习系统对齐金宝博官方“研金宝博娱乐究议程。

有关更多细节,请参见下面。


1.筹款

截至5月底,我们收到的主要捐款共计1006,549美元,来自一位长期支持者,他多年来为我们的研究项目捐赠了约5万美元。金宝博娱乐188betapp这名支持者要求继续保持匿名。

今年上半年在Miri的筹款历史上最为成功,其他值得注意的贡献,包括来自投资者Eric Rogstad的Evereum捐款总计〜22,000美元,捐赠了〜67,000美元辛烷的人工智能联合创始人雷夫·k·布鲁克斯参与了Facebook的反应挑战。2017年上半年,我们总共筹集了145万美元。

我们非常激动,也非常感谢你们的支持。这次筹款的成功使我们的跑道增加到18-20个月,给了我们更多的空间来试用潜在的员工,并专注于我们今年的研究和推广优先事项。金宝博娱乐

具体地,我们已经制定了几项计划调整,包括:

  • 向全职研究人员雇用的更多信心,金宝博娱乐
  • 试用更多的软件工程师
  • 决定今年冬天只举办一场筹款活动。1

这可能是一次性的异常捐赠,类似于2013-2014年Ripple开发者Jed McCaleb捐赠的63.1万美元加密货币。2展望我们未来两年的资助目标:

  • 虽然我们对2018年的预算仍有一些不确定,但我们目前的估计是粗略的2.5美元
  • 今年,在开放慈善项目的支持之间,生命研究所的未来和其他来源,我们希望至少在没有花费筹款时间的情况下收到至少600万美元的价格。
  • 我们今年剩余时间暂定的(雄心勃勃的)目标是提高一个额外的950美元或总共300万美元。即使我们比预期更快地扩展我们的工程团队,这将足以为我们的工程团队扩展,并将给我们一些缓冲区来解释我们未来的筹款中的不确定性(特别是,对公开慈善项目是否会继续不确定性2017年后支持)。

在五年的时间尺度上,我们的广泛资助目标是:3.

  • 就低端而言,一旦我们在几年的时间里完成了团队增长,我们的默认预期是,我们的运营成本将约为每年400万美元,主要用于支持研究人员和工程师的工资。金宝博娱乐因此,我们的目标是以可持续和稳定的方式达到这一水平。
  • 就高端而言,我们可以想象我们的资金增加数量级的情况,在这种情况下,我们将制定一套质量不同的筹资目标,反映出我们最有可能大幅重组MIRI这一事实。
  • 对于每年大约400万至1000万美元之间的资金水平,我们可能不会进一步扩大目前的业务。相反,我们可能会在考虑我们在识别和资助各种项目(包括miri -外部项目)方面所处的有利位置后,资助我金宝博娱乐们当前研究之外的工作。当我们考虑合理可能我们处在一个有利的位置,我们将建议捐助者直接额外捐款在其他地方,如果我们最终得出结论说我们的捐助者(或其他组织)是在一个更好的位置比我们应对意外在AI对齐融资机会空间。4

像这样的一次100万美元的新重大捐赠几乎涵盖了我们目前年度预算的一半,这对我们的1年和2年计划有很大的不同。我们的五年计划很大程度上是基于多年的假设资金流动,所以我们决定计划如何积极应对这一新的捐赠增长很大程度上取决于我们是否能可持续筹集资金在未来几年内的上述目标(例如,它取决于是否和其他捐助者如何改变他们的支持响应)。

为了减少扩张决策的不确定性,我们鼓励更多的常规捐赠者注册188betapp 或其他重复的拨入时间表 - 我们的收入的10%来自此类捐款,这限制了我们的规划能力。5我们也鼓励支持者这样做联系我们关于他们未来的捐赠计划,让我们可以回答问题,并制定更具体和雄心勃勃的计划。


2.新员工

与此同时,两位新的全日制研究人员在以前在基于其他机构的同时金宝博娱乐与我们一起工作后加入我们的团队。

亚伯兰Demski亚伯兰Demski他正在南加州大学(University of Sout金宝博娱乐hern California)攻读计算机科学博士学位。迄今为止金宝博娱乐,他的研究主要集中在认知架构和人工通用智能方面。他对填补存在于理性形式理论中的空白感兴趣,特别是那些关于人类在进行数学推理时所做的事情。

亚伯兰对MIRIxLosAngeles工作了逻辑归纳的前兆结果.他的其他与miri一起工作包括“广义决策理论基础“ 和 ”收敛于置信真值的可计算概率分布Π1句子将不相信真实Π2句子。“

Tsvi Benson-tilsenTsvi Benson-tilsen已加入Miri作为助理研究员。金宝博娱乐Tsvi在数学中持有芝加哥大学的荣誉,并从UC Berkeley Group休假,以及科学博士计划的方法。

在加入Miri的研究人员之前,Tsvi是一个共同金宝博娱乐作者“逻辑归纳“ 和 ”正式化收敛工具目标,“也撰写了”已知搜索顺序的无更新决策理论“ 和 ”期望-反思性和知道它的分布的存在茨维的研究兴趣包括逻金宝博娱乐辑不确定性、逻辑反事实和反射性稳定决策。

我们也接受了前六个软件工程师3个月访问。我们继续审查申请人,鉴于我们最近收到的慷慨支持以及到目前为止,我们可能会审判比以前更多的候选人。

另外,斯科特·加拉布兰特将担任MIRI的研究负责人金宝博娱乐代理基础金宝博娱乐研究,处理更多的日常工作,协调和指导研究团队的努力。


3. AAMLS议程

我们的AAMLS研究金宝博娱乐之前是Jessica Taylor, Patrick LaVictoire和Andrew Critch的重点,他们都在2015年年中加入MIRI。随着帕特里克和杰西卡(关系良好)的离开,安德鲁休了两年的假去人类兼容人工智能中心工作,我们在接下来的一年里将会在AAMLS议程上投入相对较少的工作。

我们继续认为AAMLS议程中描述的问题非常重要,并期望在未来重新分配对这些问题的更多关注。此外,我们认为AAMLS议程是一个很好的模板来识别安全需求和有前途的对齐问题。然而,在过去的一年中,我们在AAMLS问题上没有看到足够的进展,因此我们目前应该优先考虑这条研究线,而不是我们的其他工作(例如,我们对诸如逻辑不确定性和反事实推理等问题的代理基础研究)。金宝博娱乐其部分后果是,MIRI目前的研究人员不打算在不久的将来将AAMLS研究列为优先事项金宝博娱乐。

杰西卡,项目领先地区,描述了她在AAMLS上工作的一些外卖:

[...]为什么取得了很少的进展?

[1]困难

我认为主要原因是问题非常困难。特别是,它们主要是在“这似乎重要的且似乎是可享受可溶性”的基础上选择的,而不是任何强大的直觉可以进行进步。

相比之下,代理基金会议程中的问题却有了更多的进展:

  • 逻辑不确定性(真理的可定定性,反射令人反感,逻辑电感器)
  • 决策理论(模态UDT,反射岩石,逻辑电感器)
  • Vingean反射(模型多态性,逻辑电感器)

有一件事要注意这些问题的是,他们是在强烈的直觉的基础上制定,即他们应该是可靠的。在逻辑诱导之前,有可能具有某种渐近方法可以解决极限中许多逻辑不确定性问题。也可以强烈地认为某种自信是可能的。

由于AAMLS的议程存在问题,这种似是而非的论证类似于:

  • 以下是问题的现有,有缺陷的方法(例如,使用加固信号进行环境目标,或修改此方法)
  • 这里有一个关于为什么可能做得更好的模糊直觉(例如,人类做不同的事情)

根据经验,这并不是一个容易处理的研究问题。金宝博娱乐

(2)去喉咙

In an important sense, the AAMLS agenda is “going for the throat” in a way that other agendas (e.g. the agent foundations agenda) are to a lesser extent: it is attempting to solve the whole alignment problem (including goal specification) given access to resources such as powerful reinforcement learning. Thus, the difficulties of the whole alignment problem (e.g. specification of environmental goals) are more exposed in the problems.

[3]理论与经验主义

就我个人而言,我更倾向于理论方法而不是经验方法。我不知道我对从事人工智能安全工作的人有多赞同这种偏见,但这绝对是我个人的偏见。

AAMLS议程上的问题对于纯理论研究来说并不是很容易解决的。这可能是由于没有一个明确的数学美学来确定什么是一个解决方案(例如,对于环境目标问题,实际上并不清楚是否有一个可识别的数学声明来说明问题是什么)。

有了代理基金会的议程,就有了更清晰的美学来识别好的解决方案。AAMLS议程中的大多数问题都没有那么清晰的审美观。[…]

有关更多详细信息,请参阅Jessica的回顾关于智能代理基础论坛

在我们对这些问题的易疏忽达到自信结论之前,需要更多的工作需要进入AAML。但是,缺乏初步进展提供了一些证据,在可能之前可能需要新的工具或观点。在来年,我们将继续花一些时间考虑Aamls,但不会使其成为一个重点。

我们将继续与Andrew积极合作MIRI研究,并期待未来与Patrick和Jessica有更多的合作。金宝博娱乐Jessica和Andrew特别打算继续专注于人工智能安全研究,包括人工智能战略和协调工作。金宝博娱乐

我们非常感谢Jessica和Patrick在过去两年里为推进我们的研究项目和我们的组织使命所做的一切,我个人将怀念他们俩在我们身边的日子。金宝博娱乐

总的来说,我现在对MIRI的位置感觉很好。从我们日益增强的财务安全和能力到更雄心勃勃地追求我们的计划,到研究团队的新组成和重点,和我们一起工作的新工程师,以及他们将支持的研究的增长,一切都在快速而有目的地向前发展。金宝博娱乐感谢每一个为MIRI工作做出贡献、正在做出贡献、将来也会做出贡献的人。


  1. 更一般地说,这将使我们能够自信地推进我们认为是高优先级的不同研究项目,而不需要从其他项目中转移同样多的资源来支持我们的优先级。金宝博娱乐这也应该允许我们在我们的2017年更新中提到的目标外展写作上取得更快的进展,因为我们将不必花费工作人员的时间在夏季筹款写作和外展上。
  2. 当然,如果这些大型捐款在长期看起来像异常值,我们会很高兴。如果读者正在寻找与数字货币有关的事情,他们可能会在最近的浪涌之后持有,知道188betapp !自2013年年中以来,MIRI总共筹集了约185万美元的加密货币捐款。
  3. 这些计划可能会有重大变化。特别是,我们的计划中一个重要的差异来源是我们新的非公开研究进展如何,如果我们的新工作看起来进展顺利,我们可能会在那里采取更雄心勃勃的增长目标。金宝博娱乐
  4. 在这种情况下,我们可能还会增加储备,以便更好地适应意外情况,而且,我们使用这些资金适度增长的可能性更小,而不需要在策略上做出重大改变
  5. 如果我们提前了解他们,那么频繁(例如,季度)捐款也非常有用,如果我们提前了解他们,可以围绕他们策划。在计划每年至少给予一次的捐助者的情况下,从我们的角度来看比频率更重要。