更新2017-12-27：我们已经吹过我们的第三个和最终目标，并达到了300,000美元的匹配帽$2 million Matching Challenge! 非常感谢所有支持我们的人！
在12月31日在23:59 PST之前制作的所有捐款将继续依靠我们的筹款人总数。筹款人总共包括来自挑战的预计匹配基金。
米莉的2017年筹款人is live through the end of December! Our progress so far (updated live):
MIRI是一家总部位金宝博娱乐于加利福尼亚州伯克利的非营利研究机构，其使命是确保比人类更智能的人工智能技术对世界产生积极影响。您可以在“网站”了解更多有关我们工作的信息Why AI Safety?”or via MIRI Executive Director Nate Soares’谷歌谈论人工智能对齐.
2015年，我们讨论了一旦我们能够支持一个更大的团队，我们有兴趣同时探索多个研究项目。随着我们对战略格局的整体看法最近发生变化，我们现在正在朝着这个目标前进，并开始金宝博娱乐探索新的研究方向，同时继续推进我们的研究agent foundations agenda.有关我们新观点的更多信息，请参阅“对于人造一般情报没有火警“我们2017年strategic update.我们计划在未来几周内扩展我们相关的战略思考。
我们扩大了研究重点，这意味金宝博娱乐着我们的研究团队有可能发展壮大，发展迅速。我们目前的目标是在未来两年内雇佣大约十名新的研究人员，主要是软件工程师。如果我们成功了，我们的重点估计是我们2018年的预算将为280万美元和our 2019 budget will be $3.5M从2017年的约190万美元增加到现在。1.
我们通过估计我们在维持1.5年跑道的同时估计我们的增长速度，以简化假设我们在现在和2019年之间收到的捐赠的1/3次捐款，将在我们当前的筹款活动期间来进行筹集筹款。2.
Hitting目标1（62.5万美元）让我们在2018年（但不是2019年）实施增长计划；目标2（85万美元）让我们能够执行我们的完整两年增长计划；如果我们的招聘情况比预期的好，目标3（125万美元）将使我们能够以大约两倍的速度为团队增加新成员，或者根据需要为新的研究人员支付更高的薪水。金宝博娱乐
We discuss more details below, both in terms of our current organizational activities and how we see our work fitting into the larger strategy space.
什么是miri新的|筹款目标|Strategic background
什么是miri新的
今年的新发展包括：
- 这个release of Eliezer Yudkowsky’sInadequate Equilibria: Where and How Civilizations Get Stuck，一本关于系统性失败，表金宝博官方现优于和认识论的书。
- 决策理论的新介绍材料：“功能决策理论,” “在大马士革欺骗死亡，“ 和 ”决策是为了让糟糕的结果不一致。“
- 以101万美元的一次性捐款形式为我们的研究提供了极其慷慨的新支持金宝博娱乐来自加密货币投资者以及一笔375万美元的三年拨款从…起the Open Philanthropy Project.3.
部分支持这一主要支持，我们目前在一个职位上可以快速扩大研究团队，如果我们能找到合适的雇员。金宝博娱乐我们打算探索各种新的研究途径，包括更强大的推动实验并探索实施的一些想法。金宝博娱乐4.This means that we’re currently interested in hiring exceptional software engineers, particularly ones with machine learning experience.
我们在软件工程师中寻找的两个主要内容是编程能力和价值对齐。由于我们是一个非营利组织，它也值得注意的是，我们一般很乐意支付优秀的研究团队申请人，任何有关技能，任何需要在Miri工作。金宝博娱乐如果你认为你想和我们合作，apply here!
本着这种精神，我很高兴地宣布，我们已经为工程师职位进行了第一轮招聘，包括：
Jesse Liptrap.,who previously worked on the Knowledge Graph at Google for four years, and as a bioinformatician at UC Berkeley. Jesse holds a PhD in mathematics from UC Santa Barbara, where he studied category-theoretic underpinnings of拓扑量子计算.
尼克·塔尔顿，以前的首席架构师在搜索启动Quixey。他以前研究过Carnegie Mellon University的计算机科学和决策科学，并在我们的夏季研究员计划的第一次迭代中与我们一起工作，研究了拟议的AI目标系统的后果。金宝博官方
总的来说，我们最初的招聘工作进行得相当顺利，我对我们的员工和候选人的高水平印象深刻。
On the research side, our recent work has focused heavily on open problems in decision theory, and on other questions related to naturalized agency. Scott Garrabrant divides our recent work on the agent foundations agenda into four categories, tackling different AI alignment subproblems:
- 正如罗布所说在四月份,“a common thread in our recent work is that we’re using probability and topological fixed points in settings where we used to use provability. This means working with (and improving)逻辑电感器和反射神谕。“逻辑诱导对决策理论的应用的例子包括逻辑电感的证据决策理论（“基于预测的鲁棒协作,” “逻辑电感决策理论的两个主要障碍）和渐近决策理论一种无逻辑更新决策方法,” “ADT哪里出了问题？”).
- 解开无更新分成我们能更好理解的部分，例如“条件调节,” “逻辑无更新是一个健壮的委托问题,” “这个Happy Dance Problem.”
- 一方面依赖于贝叶斯条件化的决策理论（例如，证据决策理论和魏岱的无更新决策理论）之间的关系，以及依赖于另一方的反事实（例如，因果决策理论、永恒决策理论，以及Yudkowsky和Soares中讨论的功能决策理论版本）(2017年）））：“吸烟的钢铁侠,” “比较LICDT和Liedt。“
- 与相关均衡有关的研金宝博娱乐究线，例如“A Correlated Analogue of Reflective Oracles“和”吸烟与斯蒂尔曼二世。“
- 这个Converse Lawvere Problem (1.,2.,3.）：“是否存在拓扑空间十、(in some convenient category of topological spaces) such that there exists a continuous surjection from十、到空间[0,1]十、(of continuous functions from十、to [0,1])?”
- 多代理协调问题，通常使用“合作神谕“框架。
- 良性诱导: “最大高效的代理人可能会有一个反守护人免疫系统金宝博官方。“
- 与kwik学习相关的工作：“良性诱导的一些问题及解决方法“和”诚实的随机agi有多可能？”
- Goodhart’s Curse，“优化器诅咒和古德哈特定律的结合”，指出“一个强大的代理中立地优化代理度量”U我们希望与真正的价值保持一致五、，将含蓄地寻求U从…起五、“：”这个Three Levels of Goodhart’s Curse。“
- 可更正性: “浮标思想,” “全部the Indifference Designs。“
- 五、alue learning and inverse reinforcement learning: “CIRL框架中的不符合,” “奖励学习摘要。“
- 这个奖励黑客问题：“稳定的指针值：嵌入在自己的实用程序中的代理。“
Additionally, we ran several research workshops, including one focused on保罗·克里斯蒂亚诺的研究议程金宝博娱乐.
筹款目标
To a first approximation, we view our ability to make productive use of additional dollars in the near future as linear in research personnel additions. We don’t expect to run out of additional top-priority work we can assign to highly motivated and skilled researchers and engineers. This represents an important shift from our past budget and team size goals.5.
Growing our team as much as we hope to is by no means an easy hiring problem, but it’s made significantly easier by the fact that we’re now looking for top software engineers who can help implement experiments we want to run, and not just productive pure researchers who can work with a high degree of independence. (In whom we are, of course, still very interested!) We therefore think we can expand relatively quickly over the next two years (productively!), funds allowing.
在我们的主线增长方案中，我们的储备加上明年125万美元的开放慈善项目3年期拨款，将使我们在2019年有大约9个月的时间。然而，对于我们能够以多快的速度雇佣更多的研究人员和工程师，以及我们2018-2019年的预算，我们有很大的不确定性。金宝博娱乐
我们2018年的预算崩溃在主线成功案件看起来大致如此：
2018年预算估计（主线增长）
To determine our fundraising targets this year, we estimated the support levels (above the Open Philanthropy Project’s support) that would make us reasonably confident that we can maintain a 1.5-year runway going into 2019 in different growth scenarios, assuming that our 2017 fundraiser looks similar to next year’s fundraiser and that our off-fundraiser donor support looks similar to our on-fundraiser support:
基本目标 - 625,000美元。At this funding level, we’ll be in a good position to pursue our mainline hiring goal in 2018, although we will likely need to halt or slow our growth in 2019.
主线增长目标——85万美元。在这个水平上，我们将在未来几年为我们的计划扩张提供充分资金，使我们的研究人员数量在2018年和2019年期间大约翻一番。金宝博娱乐
快速增长目标——1250000美元。在这个资金水平上，我们将保持1.5年的跑道，即使我们的招聘进度比我们的主线预测快很多。我们还将有更大的自由，根据需要向顶级候选人支付更高的薪水。
除了这些增长目标之外：如果我们看到MIRI的资金在不久的将来有一个数量级的增长，我们有几种方法可以显著加快我们的招聘工作，以更快地发展团队。其中包括有竞争力的薪酬试用期，以及在我们希望找到高素质候选人的场所和社区扩大招聘范围。如果资金增长超出了我们可以有效利用资金加快招聘速度的范围，我们可能会推出新的举措，从其他角度解决人工智能x风险问题；我们不希望他们去MIRI目前的项目。
总的来说，我们处于一个非常好的位置继续扩大，我们非常感谢今年已经收到的慷慨支持。相对于我们现在的规模，Miri的储备比过去的储备更加坚固，让我们处于2018年的强大立场。
考虑到我们更长的跑道，对于那些长期支持MARI的支持者来说，这可能是比以往更好的一年。也就是说，我们个人不知道有多少地方可以投入我们目前认为比MIRI价值更高的额外资金，我们确实预计我们的筹款业绩将影响我们未来两年的增长，特别是如果我们成功地以我们希望的速度发展MIRI团队。
Strategic background
从我们眼前的组织计划中退一步：MIRI如何看待我们正在做的工作与积极的长期、大规模的成果联系在一起？
我们对这些问题的很多想法还没有被详细描述，其中许多问题都是AGI生存风险研究人员积极讨论的话题。然而，从非常广泛的角度来看，我们的全球风险缓解方法是从预期结果的角度思考，并问：“有问题的结果最有可能发生的方式是什么？”然后，我们重复这个过程，直到我们回到行动者今天可以采取的干预措施。
Ignoring a large number of subtleties, our view of the world’s strategic situation currently breaks down as follows:
In order to avoid making critical decisions in haste and locking in flawed conclusions, humanity needs:
鉴于任务的难度，我们预计需要成功的稳定期限：
To end the acute risk period, we expect it to be necessary for actors to make use of:
我们认为，尽快实现这类技术的最有可能的方法是：
补充：“最小对齐的AGI”表示“具有最小必要能力的AGI”;肯定不要误认为是“最低限度地对齐AGI“。罗伯格林格加上: “这个MIRI view isn’t ‘rather than making alignment your top priority and working really hard to over-engineer your system for safety, try to build a system with the bare minimum of capabilities’. It’s: ‘in addition to making alignment your top priority and working really hard to over-engineer your system for safety,而且将系统构建为具有最低金宝博官方限度的功能。”
如果开发出一种协调一致的系统金宝博官方，我们预计将有两个因素负责：
On our current understanding of the alignment problem, developers need to be able to give a reasonable account of how all of the AGI-grade computation in their system is being allocated, similar to how secure software systems are built to allow security professionals to give a simple accounting of why the system has no unforeseen vulnerabilities. See “安全心态和普通的偏执狂“更多细节。
开发人员必须能够明确说明并检查他们对系统的一致性和有效性所需的所有基本假设。此外，他们只需要以保持可理解性的方式设计和修改AGI系统——也就是说，只允许系统修改，以保持开发人员对系统的任何给定部分正在解决的认知问题进行完整描述的能力，金宝博官方以及为什么系统所有部分的交互既安全又有效。
Our view is that this kind of system understandability will in turn require:
我们希望这是一个关键步骤，因为我们并不期望在没有长期多年延迟的情况下，大多数达到AGI的方法都是可对的。
We plan to say more in the future about the criteria for strategically adequate projects in7A.我们不认为目前存在任何满足所有这些条件的项目，尽管我们认为项目可以通过各种方式达到这一门槛。
上述细分仅讨论我们认为的“主线”成功场景。6.如果我们条件良好的长期结果,金属氧化物半导体t plausible explanation we can come up with cites a strategically adequate AI-empowered project ending the acute risk period, and appeals to the fact that those future AGI developers maintained a strong understanding of their system’s problem-solving work over the course of development, made use of advance knowledge about which AGI approaches conduce to that kind of understanding, and filtered on those approaches.
出于这个原因，MIRI进行了干预研究金宝博娱乐8.从不同的角度，例如通过检查该领域当前对现实世界推理和决策的理解中的漏洞和异常。我们希望借此减少我们自己对有利于对齐的AGI方法的困惑，并最终帮助开发人员构建适当的AGI。”安全故事“在对齐设置中。当我们提高对对齐问题的理解时，我们的目标是与领先或后起之秀的开发团队分享新的见解和技术，我们通常与他们关系良好。
上述一些要点需要进一步的解释和动机，我们将在不久的将来提供更多关于我们对战略景观的看法。
始终欢迎进一步的问题contact@www.gqpatrol.com.，关于我们当前的组织活动和计划，以及我们希望发挥的长期作用，让AGI开发人员更容易、更清晰地了解如何使第一个AGI系统强健、安全。有关我们筹款活动的更多详细信息，包括公司匹配，请参阅我们的金宝博官方188betapp页。
- 请注意，这190万美元远低于我们今年预测的210-250万美元在四月份.Personnel costs are MIRI’s most significant expense, and higher research staff turnover in 2017 meant that we had fewer net additions to the team this year than we’d budgeted for. We went under budget by a relatively small margin in 2016, spending $1.73M versus a predicted $1.83M.
我们2018-2019预算估计值得高，具有大多数不确定性来自大量不确定性，我们将能够掌握新的研究人员。金宝博娱乐↩
- 这与我们前几年的经验大致一致，当时不包括预期的拨款和大规模意外一次性捐款。我们在目标中考虑了前者，但没有考虑后者，因为我们认为指望不可预测的意外之财是不明智的。
请注意，在过去几年中，我们设定的目标是维持一年的跑道。考虑到我们规模的增加，我现在认为1.5年的跑道更合适。↩
- 包括101万美元的捐款和开放慈善项目的第一笔125万美元，我们今年迄今已筹集了约316万美元，超过了我们设定的300万美元目标今年早些时候!↩
- We emphasize that, as always, “experiment” means “most things tried don’t work.” We’d like to avoid setting expectations of immediate success for this exploratory push.↩
- 我们以前的目标是慢慢升至3-400万美元的级别，然后稳定地持有大约13-17名研究人员。金宝博娱乐我们现在希望能够迅速地达到（和超越）水平。↩
- 有其他路径良好的良好结果，我们认为为较低概率，但全球社会应该将边际资源分配给他们的追求的较高可能性。↩
