美里的2016资金筹集活动

||米里策略新闻

12月22日更新我们的捐助人在筹款期间一起帮助我们实现了75万美元的目标。总共有251个捐助者捐款589248美元这是我们迄今为止第二大的筹款活动。虽然我们比我们的目标少了16万美元,但由于11月/ 12月的捐助者,我们已经弥补了这一缺口。我非常感谢这种支持,并将相应地计划在未来一年增加更多的员工。

如我们的post-fundraiser更新,我们的资金仍然相当有限。12月/ 1月188betapp 将对我们2017-2018年的招聘计划和战略产生特别大的影响,因为我们试图评估我们的未来前景。对于一些外部认可的MIRI,作为一个好地方给这个冬天,看最近的评价丹尼尔·杜威尼克Beckstead欧文Cotton-Barratt,本Hoskin


我们的2016年筹集资金正在进行中!与往年不同的是,2016年我们只会举办一场筹款活动,从9月16日到10月31日。我们目前的进展(实时更新):

2016筹款进度条

雇主的匹配和今年晚些时候的捐赠承诺也计入总数。188betapp 要学习更多的知识。


MIRI是一个非营利研究组织,总部设在加金宝博娱乐州伯克利。我们在数学和计算机科学方面进行基础性研金宝博娱乐究,旨在确保比人类更聪明的人工智能系统对世界产生积极影响。金宝博官方

2016年对于MIRI以及更广泛的人工智能对齐研究领域来说都是重要的一年。金宝博娱乐我们的2016年战略更新在8月初审查了一些最近的事态发展:

  • 谷歌Brain的Chr金宝博娱乐is Olah和OpenAI的Dario Amodei领导的一组研究人员发表了“人工智能安全的具体问题这是一系列可能在近期和长期安全问金宝博娱乐题上都有影响的新研究方向。
  • Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel和Stuart Russell发表了一个新的价值学习框架,协同逆强化学习”,影响可订正
  • 谷歌DeepMind的劳伦特·奥索(Laurent Orseau)和人类未来研究所(Future of Humanity Institute)的斯图尔特·阿姆斯特朗(Stuart Armstrong)得到了来自新闻媒体以及Alphabet的执行董事长埃里克•施密特他们的新论文"安全可中断的代理,部分由MIRI支持。
  • MIRI进行了为期三周的AI安全性和鲁棒性测试研讨会和研讨会系列演讲嘉宾包括Stuart Russell、Tom Dietterich、Francesca Rossi和Bart Selman。
  • 我们得到了30万美元的慷慨捐赠,扩大了我们的研究和运营团队。金宝博娱乐
  • 我们开始了新的研究议程。”金宝博娱乐对齐先进的机器学习系统金宝博官方“这个议程将占据我们未来大约一半的时间,另一半专注于我们的代理基础议程

我们还发表了决策理论和逻辑不确定性方面的新成果,包括“参数有界Löb的定理与有界代理的鲁棒合作”和“对谷物真理问题的正式解答”有关我们去年的研究进展及其他更新的调查,请参金宝博娱乐阅我们的2015年评审

在过去三周内,又有三项重大进展:

  • 我们发表了一篇新论文,”逻辑归纳,描述了一种学习为数学猜想和计算事实分配合理概率的方法,以一种超过演绎法的方式。
  • 慈善开放项目向MIRI提供一年50万美元的赠款扩大我们的研究计划,明年很有可能金宝博娱乐更新。
  • “开放慈善项目”支持新加州大学伯克利分校的启动人类兼容人工智能中心,由斯图尔特·罗素领导。

过去九个月,事情进展得很快。如果我们能复制去年成功的筹款,我们将处于一个非常有利的位置来推进我们的计划,扩大我们的团队和规模我们的研究活动。金宝博娱乐

的战略格局

人类比其他物种更善于改变环境以适应自己的喜好。这主要不是由于我们的力量或速度,而是由于我们情报我们推理、计划、积累科学知识和发明新技术的能力。人工智能似乎是一项可能对世界产生独特巨大影响的技术,因为它有潜力将这些能力自动化,并最终果断地超越人类关于相关的认知指标。

除了构建智能计算机系统的任务之外,还有确保这些系统符合我们的价值观的任务。金宝博官方调整一个人工智能系统需要克服许金宝博官方多严重的技术挑战,其中大多数迄今为止没有得到相对较少的学术关注。从我们的角度来看,MIRI作为一个非营利组织在这个领域的作用是帮助解决部分问题大小不合适面向主流行业和学术团体。

我们的长期计划取决于未来在人工智能领域的发展。因为这些发展是高度不确定的,我们目前主要集中于我们期望在各种可能的情况下有用的工作。我们所考虑的更乐观的情况通常是这样的:

  • 在短期内,研究界会联合起来,对相关问题有一金宝博娱乐个良好的原则性理解,并产生解决这些问题的正式工具。人工智金宝博娱乐能研究人员朝着对最佳实践的最小共识前进,将人工智能的长期社会影响的讨论正常化,一种风险意识安全的心态,并负责误差容错和数值规范。
  • 在中期,研究人员在这些基础上建立了一个更金宝博娱乐成熟的理解。随着我们对比人类更聪明的人工智能系统可能会是什么样子有了更清晰的认识——更接近可信的路线图——我们可以想象,为了阻止种族动态,研金宝博官方究界将朝着加强协调和合作的方向发展。金宝博娱乐
  • 从长远来看,我们希望看到人工智能授权的项目(如前所述杜威[2015])用来避免人工智能的重大灾难。为了这个目的,我们想要解决有限的AI系统的对齐问题的一个弱版本——系统刚好能够作为防止AI事故和误用的有用杠杆。金宝博官方
  • 非常长期而言,我们有望解决高能力、高自主的人工智能系统的“全面”对齐问题。金宝博官方理想情况下,我们希望达到这样一种状态,即我们能够等待,直到我们达到科学和制度的成熟——花时间去做每一件事和交叉每t在我们冒险“锁定”设计选择之前。

以上是一个模糊的草图,我们也会优先考虑我们认为在不太乐观的情况下有用的研究。金宝博娱乐此外,这里的“短期”和“长期”是相对的,不同的时间线预测可能有非常不同的政策含义。尽管如此,这个草图可能有助于阐明我们希望看到研究界前进的方向。金宝博娱乐

欲了解更多我们的研究重点和方法,金宝博娱乐请参阅我们的金宝博娱乐 美里的方法

我们的组织计划

我们目前雇佣了7名技术研究人员(6名研究员和1名助理研究员),加上2名即金宝博娱乐将加入的研究人员,以及另外6名研究助理和研究实习生。1我们今年的预算约为175万美元,高于2015年的165万美元和2014年的95万美元。2

我们的最终目标(可能会修订)是增长到我们拥有13到17名技术研究人员,届时我们的预算可能在300 - 400万美元之间。金宝博娱乐如果我们能成功地达到这一点,同时保持两年的跑道,我们就有可能脱离增长模式。

我们对2017年的预算估计大约是200 - 220万美元,这意味着我们将以大约14个月的跑道进入这个筹款活动。我们不确定在11月到明年9月之间会收到多少捐款,3.但从目前的趋势来看,我们预计总捐款的4/5来自筹款人,1/5来自非筹款人。4基于此,我们有以下筹款目标:


基本目标是75万美元。我们对在这种融资水平上执行增长计划的能力感到满意。我们将能够轻松地向前推进,尽管比更高的目标要谨慎一些。


增长目标- 100万美元。这相当于半年的时间。在这个水平上,我们可以在增长计划中进行更不确定但高预期价值的押注。如果我们招聘的员工数量超过预期,那么在2017年,我们的业绩可能会低于一年的水平,但我们的捐赠者群体越来越多,这让我们觉得承担这样的风险很舒服。


拉伸目标——125万美元。在这个水平上,即使我们的增长超出了我的预期,我们也能够在不存在下滑到一年的风险的情况下实现增长。超过125万美元,我们不希望额外的捐款对我们2017年的计划有太大影响,假设适度的场外筹款支持。5


如果我们达到了增长和延伸的目标,我们将能够更有信心地执行几个我们正在考虑的额外计划。这包括签约更多的研究人员与我们一起在逻辑归纳和机器学习议程上做早期工作,通常花更多的时金宝博娱乐间进行学术拓展、领域发展,以及培训或试用潜在的合作者和雇员。

和往常一样,如果你对我们即将到来的计划和最近的活动有任何疑问,请与我们联系。我非常期待看到不断增长的对齐研究社区在未来一年将达到什么新的里程碑,我非常感谢周到的参与和支持,帮助我们达到这一点。金宝博娱乐

188betapp


  1. 这并不包括Katja Grace,她是AI Impacts项目的负责人,该项目使用了一个专门用于战略/预测研究的单独资金池。金宝博娱乐这也排除了我:我对我们的技术研究做出贡献,但我的主要角色是行政管理。金宝博娱乐
  2. 我们预计将略低于182.5万美元的预算之前的预算对于2016年,由于今年招聘的新研究人员少于预期。金宝博娱乐
  3. 我们设想在未来的几年中继续每年举办一次筹款活动,可能是在9月份。
  4. 另外,慈善开放项目可能会更新我们的500000美元的赠款我们预计将收到生命未来研究所(Future of Life Institute)的最后一笔款项(8万美元)为期三年的资助

    相比之下,2015年我们的营收约为160万美元:16.7万美元的赠款,96万美元的筹款捐款,以及467.7万美元的非筹款捐款(非赠款)。然而,2015年我们的情况有些不同:我们举办了两场2015年的筹款活动,而今年我们不举办冬季筹款活动,并建议12月份的捐赠者提前承诺或捐赠筹款活动。

  5. 在更高的资金水平上,我们会考虑运行其他有用的项目,如奖励基金。我拍一个电子邮件如果你想谈谈细节的话。