在我们上次的策略更新中(2016年8月)，内特写道MIRI的首要任务是在我们的代理基础议程，开始我们新的"高级机器学习系统对齐金宝博官方“议程，与其他研究人员合作和交流，并发展我们的研究和运营团队。金宝博娱乐
从那以后，MIRI的高级职员重新评估了他们对差距的看法人工总体智能(AGI)的结论是，更短的时间线比他们以前认为的更有可能。最近的一些证据指向了这个方向，例如:1
- 人工智金宝博娱乐能研究正变得越来越令人兴奋资金充足．这表明，更多顶尖人才(无论是下一代还是当前这一代)可能会将注意力转向人工智能。
- AGI作为一种理念正吸引着越来越多的学术关注，这也是顶级人工智能团体的既定目标DeepMind，OpenAI,公平．特别是，与几年前相比，现在许多研究人员对金宝博娱乐一般智力的思考似乎更加开放。
- 金宝博娱乐与AGI相关的研究团体对外表现得更为清晰迹象的盈利能力。
- 人工智能的成功就像AlphaGo表明，在围棋等领域超越顶尖人类(没有任何新的概念突破)比预期要容易。2这降低了我们对在其他领域与人类竞争所需的重大概念突破数量的估计。
MIRI研究人员对AGI的时间线有多长没有达成共识，我们的综合估金宝博娱乐计认为，研究社区到2035年还没有开发出AGI的情况有中到高的可能性。然而，平均而言，研究人员认为，与一两年前相金宝博娱乐比，AGI在2035年前被开发的可能性要高一些。这对我们的战略有几点启示:
1.我们与德盛安联安全与能力领域当前主要参与者的关系，在我们的战略思考中发挥了更大的作用。短时间场景减少了在我们到达AGI之前进入该领域的重要新玩家的预期数量，并增加了当前玩家可能拥有的影响力。
2.我们的研金宝博娱乐究重点有些不同，因为更短的时间线改变了在我们遇到AGI之前可能得到回报的研究路径，而且还将我们的概率质量更多地集中在AGI与当今机器学习系统具有各种共同特征的场景上。金宝博官方
这两个更新都代表了我们已经因为各种原因而趋向的方向。3.然而，与去年相比，我们正在朝着这两个方向更快更有信心地前进。作为一个例子,内特在员工管理上花费更少的时间和其他管理职责比过去(把这些交给米里首席运营官Bourgon)不全,更少的时间在广泛沟通工作(委托大量的这样对我),让他花更多的时间在对象级别的研究,研究优先级的工作,金宝博娱乐以及更有针对性的交流。4
我将在下面更具体地阐述这些更新对我们的计划意味着什么。
1.金宝博娱乐研究项目计划
我们组织的首要任务是对金宝博娱乐AI对齐的问题，继续Malo在我们最近的报道中所描述的工作年度回顾．
我们计划在今年深入研究一些非常初步和探索性的新的安全研究方向，在这些方向上我们不确定与AGI能力研究的潜在协同效金宝博娱乐应。探索性调查工作将non-public-facing至少在2017年末,为了降低略微缩短AGI通讯社的风险时间对齐研究(可以留下更少的总时间)和释放研究人员的注意力从不得不思考安全权衡每一个新的结果。金宝博娱乐5
我们以前也做过非公开研究，但这将是2017年更大的焦点。金宝博娱乐我们计划在秋季根据项目进展情况，重新评估我们的探索性研究项目需要投入多少工作(以及是否将项目转向面向公众的方面)。金宝博娱乐
在公开方面，Nate预测今年的研究进展大致如下(对比2015年和2016年的估计)。金宝博娱乐1代表“有限进步”，2代表“弱到中等进步”，3代表“适度进步”，4代表“中等进步”，5代表“相当进步”。6
逻辑的不确定性和归化感应：
- 2015年进展:5。——预测:3。
- 2016年进展:5。——预测:5。
- 2017年发展预测:2(weak-to-modest)。
决策理论：
- 2015年进展:3。——预测:3。
- 2016年进展:3。——预测:3。
- 2017年发展预测:3.(温和的)。
Vingean反射：
- 2015年进展:3。——预测:3。
- 2016年进展:4。——预测:1。
- 2017年发展预测:1(有限的)。
错误宽容：
- 2015年进展:1。——预测:3。
- 2016年进展:1。——预测:3。
- 2017年发展预测:1(有限的)。
价值规范：
- 2015年进展:1。——预测:1。
- 2016年进展:2。——预测:3。
- 2017年发展预测:1(有限的)。
根据我们在每个领域投入的研究时间，以及他估计在该领域取得进展的容易程度，Nate预计今年的面向公众的新成果会比2015-2016年少。金宝博娱乐
基础研究的进展很难提前预测，上述估计金宝博娱乐结合了我们得出重要新结果的可能性，以及我们预计这些结果在相关领域会有多大。在归化归纳法的案例中，大多数可能性是我们今年取得了少量的进展，获得新的重大见解的可能性很小。在决策理论的情况下，大多数的概率是我们获得一些与我们正在研究的问题相关的小的新见解，有中低的机会获得大的见解。
该研究小金宝博娱乐组目前的重点是一些相当新的问题。Jessica, Sam和Scott最近一直在研究推理程序的问题，比如所罗门诺夫归纳法引起失调的子代理(例如,在这里)，并考虑可避免此问题的替代归纳方法。7
在决策理论中，在我们最近的工作中一个常见的思路是，我们在过去使用可证明性的设置中使用了概率和拓扑不动点。这意味着要与(并改进)逻辑电感和反光的神谕．这也意味着发展新的看待事物的方式反设事实受到这些方法的启发。这一转变背后的原因是，我们在Vingean反思上看到的大多数进步都来自于此这些概率推理和fixed-point-based技术。
我们还计划在今年发布一些更容易理解的研究领域的概览。金宝博娱乐关于我们在决策理论方面的工作，请参阅我们最新的论文，大马士革死里逃生．”
2.有针对性的推广和更密切的合作
我们今年的外联工作主要是为了与顶级人工智能团体(特别是OpenAI和DeepMind)、人工智能安全研究团体(特别是人类未来金宝博娱乐研究所)和资方/召集人(特别是开放慈善项目)交换研究信息背景模型。
我们目前正在与DeepMind合作一个研究项目，并与OpenAI和其他金宝博娱乐团队的关键人物保持良好关系。我们还将对我们的战略景观观点进行更系统的解释，我们希望以此金宝博官方作为讨论的起点。我们计划在接下来的文章中讨论的主题包括:
1.AGI项目的实用目标和指导方针。
2.为什么我们考虑AGI对齐一个困难的问题在这种情况下，在不远的将来，一项重大的多年研究投入可能是必要的(而且离充分的投入也不远了)。金宝博娱乐
3.为什么我们认为深刻理解人工智能系统的认知如金宝博官方何实现目标，对于AGI对齐可能是至关重要的。
4.Task-directed AGI通讯社以及限制AGI系统解决问题工作范围的方法。金宝博官方
一些现有的与我们想说的话题相关的评论包括杰西卡·泰勒的“关于MIRI高可靠代理设计研究的动机金宝博娱乐，《内特·苏亚雷斯》为什么人工智能安全?和丹尼尔·杜威的“结束快速起飞带来的存在风险的长期策略．”
3.扩张
我们2017年的计划预算是210万- 250万美元，高于2015年的165万美元和2016年的175万美元。我们的估计是225万美元，在这种情况下，我们预计我们的细分大致如下:
我们最近雇了两位新研究员，金宝博娱乐山姆·艾森斯塔特和马塞洛·赫里肖夫，并在筹备其他研究人员。金宝博娱乐我们也招聘软件工程师帮助我们快速原型、实现和测试与机器学习相关的人工智能安全思想。我们目前正在寻找实习生来试用这些编程角色(应用在这里）.
我们的活动预算是今年小我们的内部研究活动越来越多，像2015年那样的活动越来越少金宝博娱乐夏天车间系列我们的2016讨论会系列．我们的经营成本更高，部分原因是收入超过200万美元的会计费用，以及我们外包的维护任务的簿记费用。
我们尝试跑步只有一个资金筹集人在2016年，但最终还是需要花费员工的时间来筹集资金低于我们最初的资助目标。考虑到年末令人振奋的支持，我们的整体表现非常稳定——从2015年的158万美元上升到今年的229万美元。然而，今年我们很有可能会回到之前的两次筹资节奏，以便更有信心地推进我们的增长计划。
我们的5年计划是相当不确定的，因为我们的战略可能会根据我们今年的研究方向的成果，以及我们与其他群体的对话而告终。金宝博娱乐像往常一样，欢迎你来问我们问题如果你对我们的计划感兴趣，我们会随着我们的计划继续发展向你更新!
- 注意，这个列表远非详尽无遗。↩
- 相对通用的算法(加上丰富的计算)能够在围棋上超越人类的表现，从在标准棋局中无法赢最差的人类专业棋手到统治着最优秀的专业人士在几个月的时间里。这里的相关发展并不是“AlphaGo代表了对先前已知技术的重大概念进步”，而是“当把现代技术扩展到像专业围棋那样依赖模式识别和困难(对人类来说)的任务时，它遇到的障碍少得惊人”。↩
- 出版"人工智能安全的具体问题“例如，去年，我们减少了花在广泛接触人工智能社区上的时间，而把更多的时间花在与OpenAI、谷歌Brain、DeepMind等机构的研究人员建立更强大的合作上。金宝博娱乐↩
- Nate继续制定MIRI的组织策略，并负责这篇文章的想法。↩
- 我们通常支持这样一种规范，即研究小组权衡发表可能缩短AGI时间的结果金宝博娱乐的成本和利益，并在存在足够不确定性的情况下，错误地保持可能加速AGI的结果的专有，除非有充分有力的积极理由传播审议中的结果。根据研究本身的具体情况，这最终也可以应用到安全研究和小团队的工作中。金宝博娱乐
我们决定的另一个因素是，撰写外部消耗的结果需要额外的研究人员的时间和注意力，尽管在实践中，这种成本往往小于写作过程和结果论文的收益。金宝博娱乐↩
- 内特最初在3月21日记录了他的预测，这是基于他预计从3月底到2017年底的进度。请注意，例如，三个“有限的”分数并不等于一个“适中的”分数。此外，排名是基于我们在每个类别中所期望的最大的技术结果，并且强调深度多于广度:如果我们一年得到一个看似温和的决策理论结果，第二年得到十个这样的结果，它们都将被列为“温和进步”。↩
- 这是一个相对较新的研究重点，并不是特别适合我们的金宝博娱乐代理基础议程，尽管它与归化感应．我们的该议程虽然我们将大多数AAMLS研究归类为容错或值规范工作，但它也不能很好地归入这些范畴。金宝博娱乐↩
