2017年更新和策略

||Miri战略

在我们的最后一项策略更新中(2016年8月),Nate写道,Miri的优先事项是在我们的进步方面取得进展代理基金会议程并开始工作我们的新“高级机器学习系统对齐金宝博官方“议程,与其他研究人员合作并与其他研究人员进行沟通,并增长我们的研究和行动团队。金宝博娱乐

从那时起,Miri的高级工作人员已经重新评估了他们对距离的看法人工综合情报(AGI)并得出结论,较短的时间表比以前的思考更有可能。几行最近的证据点在这个方向上,如:1

  • AI研金宝博娱乐究变得更加明显令人兴奋良好的资金。这表明更多顶级人才(在下一代以及当前的一代)可能会让他们关注AI。
  • AGI正在吸引更多的学术人员作为一个想法,是顶级AI群体的指定目标Openai.,和公平。特别是,许多研究人员似乎更加开放,以思考金宝博娱乐一般情报,而不是几年前。
  • 金宝博娱乐与AGI相关的研究组显示出更清晰的外部迹象盈利能力。
  • ai成功就像alphago.表明它更容易超过域的顶级人类(如Go)(没有任何新的概念突破),而不是预期。2这降低了我们对其他域名所需的显着概念突破的估计。

There’s no consensus among MIRI researchers on how long timelines are, and our aggregated estimate puts medium-to-high probability on scenarios in which the research community hasn’t developed AGI by, e.g., 2035. On average, however, research staff now assign moderately higher probability to AGI’s being developed before 2035 than we did a year or two ago. This has a few implications for our strategy:

1.我们与AGI安全和能力的当前关键参与者的关系在我们的战略思维中起着更大的作用。短时间方案减少预期的重要新玩家的数量,他们将在达到AGI之前进入空间,并增加当前玩家可能拥有的影响程度。

2.我们的研究金宝博娱乐优先事项有所不同,因为更短的时间里,改变了在我们击中AGI之前可能支付的研究路径,并且还将我们的概率大量集中在AGI与当前机器学习系统共同的各种功能。金宝博官方

两个更新都表示我们已经出于各种原因的指示。3.但是,我们比去年比我们更快和信仰地沿着这两个方向移动。作为一个例子,Nate正在花费更少的工作人员管理和其他行政职责的时间(让这些行政职责递给Miri Coo Malo Bourgon),并且在广泛的通信工作中减少了时间(使其授权给我的公平数量),允许他在对象级研究,研究优先级工作和更具针对性的通信中花费更多时间。金宝博娱乐4.

我将在下面的更具体的详细信息中阐述这些更新的意思。

1.研金宝博娱乐究计划计划

我们的最高组织优先事项是对象级研究金宝博娱乐AI对齐问题,跟进我们最近描述的Malo的工作年度审核

我们计划今年花费深入研究一些非常初步和探索的新安全研究方向,在那里我们不确定AGI能力研究的潜在协同作用。金宝博娱乐Work related to this exploratory investigation will be non-public-facing at least through late 2017, in order to lower the risk of marginally shortening AGI timelines (which can leave less total time for alignment research) and to free up researchers’ attention from having to think through safety tradeoffs for each new result.5.

We’ve worked on non-public-facing research before, but this will be a larger focus in 2017. We plan to re-assess how much work to put into our exploratory research program (and whether to shift projects to the public-facing side) in the fall, based on how projects are progressing.

在面对公开的方面,Nate一直预测,今年我们将大致进行以下研究进展(2015年和2016年的比较估计数)。金宝博娱乐1意思是“有限进步”,2“弱到谦虚的进步”,3“适度进步”,4“适度进展”,5“相当大的进展”:6.


逻辑不确定性归化诱导

  • 2015年进展情况:5。 - 预测:3。
  • 2016年进展情况:5。 - 预测:5。
  • 2017年进度预测:2(弱到谦虚)。

决策理论

  • 2015年进展情况:3。 - 预测:3。
  • 2016年进展情况:3。 - 预测:3。
  • 2017年进度预测:3.(谦虚)。

视频反思

  • 2015年进展情况:3。 - 预测:3。
  • 2016年进展情况:4。 - 预测:1。
  • 2017年进度预测:1(有限)。

容忍误差

  • 2015年进展情况:1。 - 预测:3。
  • 2016年进展情况:1。 - 预测:3。
  • 2017年进度预测:1(有限)。

价值规范

  • 2015年进展情况:1。 - 预测:1。
  • 2016年进展情况:2。 - 预测:3。
  • 2017年进度预测:1(有限)。

Nate预计今年的小说面对面的结果比2015-2016在2015 - 2016年的比赛中,基于我们投资每个领域的研究员以及他估计的估计是多么容易,这是在该领域取得进展。金宝博娱乐

基本研究的进展难以提前预测,上述估计金宝博娱乐结合了我们将如何提出重要的新结果,我们希望在相关领域的情况下预期的大量结果。在归化诱导的情况下,大多数概率都是在我们今年的进展情况下,具有较低的新洞察力。在决策理论的情况下,大多数概率都是为了我们实现与我们正在努力的问题有关的一些次要洞察力,其中包括大洞察力的中等低机会。

研究团队金宝博娱乐目前的重点是一些相当新的问题。杰西卡,山姆和斯科特最近一直在致力于所罗门组织归纳等推理程序的问题产生未对准的子药(例如。,这里),并考虑可能避免这个问题的替代诱导方法。7.

在决策理论中,我们最近的工作中的一个共同线程是我们在我们曾经使用过规定的设置中使用概率和拓扑固定点。这意味着与(并改善)合作逻辑电感器反光奥克斯它还意味着开发新的观察方式反应性灵感来自这些方法。这种转变背后的原因是,我们在Vingean反思中看到的大多数进展都出现了这些概率推理和基于固定点的技术。

我们还计划今年我们的一些研究领域的更可达概述。金宝博娱乐对于我们在决策理论中的工作概括,看看我们最新的纸张,“在大马士革欺骗死亡。“

2.有针对性的外展和更接近的合作

我们今年的外展努力主要旨在与最高AI集团(特别是Openai和Deepmind),AI安全研究小组(特别是人类学院的未来)和金宝博娱乐资助者/召集人(特别是公开慈善项目)(特别是公开慈善项目)的促进努力。

我们目前正在与DeepMind的研究项目合作,并与Openai和其他群金宝博娱乐体的关键人物合作。我们还编写了对我们对战略景观观的更系统的解释,我们希望用作金宝博官方讨论的起点。我们计划进入即将到来的写作的主题包括:

1. AGI项目的实际目标和指南。

2.为什么我们考虑AGI对齐一个难题如果可能需要在不久的将来的主要多年研究努力投资的那种情况下,可能是必要的(并且从足够远离)。金宝博娱乐

3.为什么我们思考深刻的理解如何获得AI系统的认金宝博官方知如何实现目标对于AGI对准可能是至关重要的。

4。任务导向AGI和限制AGI系统问题解决方案范围的方法。金宝博官方

一些与我们打算说更多关于包括Jessica Taylor's的主题的现有写作。关于Miri高度可靠的代理设计研究的动机金宝博娱乐,“Nate Soares”“为什么AI安全?“,丹尼尔杜威的”从快速起飞结束存在性风险的长期策略。“

3.扩展

我们2017年的计划预算为2.1-2.5米,2015年的1.65亿美元和2016年1.75亿美元。我们的观点估计为2.25亿美元,在这种情况下,我们希望我们的崩溃看起来大致如此:



我们最近聘请了两个新的研究员研究员,金宝博娱乐Sam Eisenstat和Marcello Herreshoff,并在管道中拥有其他研究人员。金宝博娱乐也是招聘软件工程师为了帮助我们快速原型,实施和测试与机器学习相关的安全思想。我们目前正在寻求实习生审判这些编程角色(申请这里)。

我们的活动预算是今年更小,因为我们正在运行更多的内部研究撤退和我们2015年的活动更少金宝博娱乐夏季研讨会系列和我们的2016年Colloquium系列。我们的业务成本较高,部分原因是与我们通过2000万美元的收入水平和簿记费用,以便我们外包的维持任务相关的会计费用。

我们尝试跑步只是一个筹款人在2016年,但最终仍然需要在年底之前花费员工时间筹款短期下跌我们的初始资金目标。Taking into account a heartening end-of-the-year show of support, our overall performance was very solid — $2.29M for the year, up from $1.58M in 2015. However, there’s a good chance we’ll return to our previous two-fundraiser rhythm this year in order to more confidently move ahead with our growth plans.

我们的5年计划是不确定的,因为我们的战略将根据今年的研究方向富有成效,并根据我们与其他群体的对话来享有不同的最终变化。金宝博娱乐像往常一样,欢迎你问我们问题如果你对我们的意见很奇怪,我们将保持您的更新,因为我们的计划继续发展!


  1. 请注意,此列表远非详尽无遗。
  2. 相对普通的算法(加上大量计算)能够在去的情况下超越人类性能,从标准游戏中无法赢得最糟糕的人类专业人士占据最佳专业人士在几个月的空间。The relevant development here wasn’t “AlphaGo represents a large conceptual advance over previously known techniques,” but rather “contemporary techniques run into surprisingly few obstacles when scaled to tasks as pattern-recognition-reliant and difficult (for humans) as professional Go”.
  3. 发表“AI安全的具体问题“例如,”例如,造成的,导致我们减少了我们在广泛的外展到AI社区支出的时间,支持更多的时间建立与我们在Openai,Google Brain,Deepmind和其他地方的研究人员更强大的合作金宝博娱乐。
  4. Nate继续设定Miri的组织战略,并对这篇文章中的想法负责。
  5. We generally support a norm where research groups weigh the costs and benefits of publishing results that could shorten AGI timelines, and err on the side of keeping potentially AGI-hastening results proprietary where there’s sufficient uncertainty, unless there are sufficiently strong positive reasons to disseminate the results under consideration. This can end up applying to safety research and work by smaller groups as well, depending on the specifics of the research itself.

    我们决定的另一个因素是,写入外部消费的结果需要额外的研究员时间和关注,尽管在实践中,这种成本通常比写作过程和合成文件的益处小。金宝博娱乐

  6. Nate最初于3月21日录制了他的预测,基于2017年底预计的进展。请注意,例如,三个“有限”的分数不等于一个“适度”分数。此外,排名是基于我们在每个类别中预期的最大技术结果,并强调广泛的深度:如果我们获得一个适度的决策理论,结果是明年和十个这样的结果,那些将被列为“适度进步“。
  7. 这是一个相对近期的研究优先权,并且不适合来自我们的任何垃金宝博娱乐圾箱代理基金会议程,尽管它最明显的关系归化诱导。我们的aamls议程虽然我们将大多数AAMLS的研究分类为差错或价值规格工作,但也不适合这些垃圾箱。金宝博娱乐