2014年在审查中

||Miri战略

是...的时候了我对2014年的Miri审查。1关于我们下一个战略计划的帖子将在未来几个月后追随，我已经包含有关正在进行的项目的一些细节在本评论结束时。

2014年摘要

自从2013年初，Miri的核心目标是帮助创建一个新的研究领域，致力于从未来AI代理商获得良好的良好成果的技术挑战，具有高度一般的能金宝博娱乐力，包括能力递归自我改善。2

推出新领域一直是团队努力。2013年，Miri决定专注于其比较优势定义打开问题并对他们进行技术进步。我们幸运的是与这个空间中的其他演员协调 -fhi.那CSER.那FLI.和其他人 - 谁在开展公共外展，建筑联盟，将领域推向给予授权制造者，与政策制定者相互作用，以及更多的比较优势。3.

Miri开始了2014年，并确定了一些开放问题，并在解决它们的一些进展中，但很少有人可以做这项工作。因此，我们2014年的大多数研金宝博娱乐究计划努力旨在吸引新的研究人员对该领域并使他们更容易学习材料并贡献。这是主要的动机我们的新技术议程概述， 这米西克计划， 我们的新研究指金宝博娱乐南等等（见下文）。尼克博斯特罗姆的超明对于解释为什么这一研究领域应该在第一位置存在的帮助也非常有帮助。金宝博娱乐

今天，该领域比2014年初更大，更健康。Miri现在有四个全职技术研究人员而不是一个。金宝博娱乐大约85人参加了一个或多个米西克讲习班。有这么多有前途的研究人员对我们的技术研究表达了兴趣，其中金宝博娱乐〜25人已经确认了今年夏天参加Miri介绍性研讨会的兴趣和可用性，这主要不包括参加的人过去的Miri研讨会，我们还没有发出所有邀请。此外，现在有几位研究人员知道谁是未来1 - 2年的合理的Mi金宝博娱乐ri雇用。

我非常感谢Miri的捐助者，没有谁这一进步就是不可能的。

此帖子的其余部分在2014年提供了我们的活动更详细的摘要。

概述2014年活动

  1. 技术研究：金宝博娱乐我们聘请了2名新研究研究员，推金宝博娱乐出了Mirix计划，举办了许多访问研究人员，并发布了14个技术论文/报告，包括我们的新技术议程概述。
  2. 战略研究：金宝博娱乐我们出版了15篇分析，5篇论文和54名专家访谈。
  3. 外展：我们组织了一些会谈和媒体故事，并发布比我们聪明。Yudkowsky也继续写作哈利波特和理性方法，这已被证明是Miri工作的令人惊讶的有效的外联工具。
  4. 筹款：我们在2014年筹集了1,237,557美元。这略低于2013年我们提出的贡献，但只有2013年的数字包括一次性，异常捐赠〜525,000美元。
  5. 运营：我们对Miri的组织效率和稳健性进行了许多改善。

2014年技术研究金宝博娱乐

我们的两大目标中的两个目标2014年中期战略计划是（1）提高我们的技术研究产出和（2）在招聘额外的技术研究人员方面投入金宝博娱乐大量投资（通过A勘探- >展望开发- >招聘漏斗）。第三个目标有关筹款;见下文。

至于（1）：过去一年我们发布了14篇技术论文/报告4.并为学术受众提供了一些技术谈判。为我们的员工研究人员提供更多时间来编金宝博娱乐写现有结果，并更多地关注招聘，我们只举行一项研究金宝博娱乐研讨会2014年。

至于（2），在2014年我们：

  • 发布了我们的新品金宝博娱乐研究议程概述，这使得新人能够更容易理解我们正在做的事情以及为什么。
  • 聘请了两个新的全日制研究员金宝博娱乐。Benja Fallenstein和Nate Soares于2014年4月加入。（帕特里克·瓦特奥尔于2015年3月加入Miri。）
  • 推出我们的米西克计划，现在世界各地有14个活跃的群体。该计划允许数学家和计算机科学家花时间学习和讨论Miri的研究议程，是我们勘探和开发管道的关键组成部分。金宝博娱乐
  • 发表Miri研究指南金宝博娱乐，这将通过主题和论文引导学生，他们应该研究熟悉Miri的研究议程的每个领域。金宝博娱乐
  • 托管了几位访问研究人员金宝博娱乐在伯克利在伯克利的研究问题与我们同时使用几天或几周。金宝博娱乐5.
  • 共同赞助了SPARC.2014营地，这列车在数学上才华横溢的年轻人将他们的定量思维技能应用于他们的生活和世界。SPARC没有教授参与Miri的研究，但它确实教会参与者有关有效的利他主义，并使他们更普遍金宝博娱乐地与我们的社交界联系。至少有一个SPARC毕业生随后对未来为Miri工作的严重兴趣（但主要是，他们仍然在他们的学习中仍然考虑）。

此外，我们的一些外联活动（下文所述）作为研究人员勘探活动。金宝博娱乐

在我的估计中，2014年我们技术研究计划的增长缩短了我早期的目标，主要是由于员工能力不足，以金宝博娱乐发动新的招聘计划。谢天谢地，这一情况在2015年初改善。我们仍然是寻求雇用额外的运营人员帮助我们发展我们的技术研究计划，金宝博娱乐6.但是，与此同时，我们遇到了我们的一些直接的容量需求（例如）聘用米西克·参与者詹姆斯厨师，以帮助我们更好地管理，并延长梅克斯计划，并承认Jesse Galef帮助我们组织2015年夏季研讨会。

2014年战略研究金宝博娱乐

正如计划，2014年，我们降低了战略研究的产出。金宝博娱乐7.即使我们仍然在2014年出版了大量的战略工作：

  • 15战略分析在Miri的博客和其他地方发布。8.
  • 54.专家访谈在广泛的主题上。
  • 5篇论文/章节AI战略主题。9.

几乎所有的采访都是在2013年或2014年初开始，即使他们没有完成并出版至今。由于明显递减的回报，我们决定去除专家访谈的前途。

这种战略研究级别与我们之前的目标密切一致。金宝博娱乐

2014外展

我们的外展努力今年下降，支持更多地关注我们的技术研究。金宝博娱乐我们2014年的外展努力包括：

这种级别的外展产出与我们早期的目标密切对齐，除了我们计划释放电子书版本序列2014年，和这个版本被推迟到2015年3月。

尽管Miri拒绝了外展努力，但有关Miri的核心问题的公开推出大规模增加2014年由于其他人的努力。fhi.尼克博斯特罗姆发布了超明，现在是Miri的最佳可用摘要，存在解决。几个着名的人物 - 特别是斯蒂芬霍金和伊隆麝香 - 促进了长期的AI安全问题对媒体的关注。此外，两个新组织，CSER.和FLI.，对这个问题进行了大量的宣传。主要是由于这些努力，Edge.org决定使其广泛读取2015年度问题关于长期AI风险。一些受访者表达了与Miri对该问题的思考一致，包括山姆哈里斯那斯图尔特罗素那贾安塔林那最大Tegmark.那Steve Omohundro那尼克博斯特罗姆，当然是miri自己的Eliezer Yudkowsky.。

2014年筹款

最初，我们放2014年的一个非常雄心勃勃的筹款目标。此后不久，我们决定专注于招募与招募相关的努力而不是筹款。因此，虽然我们的2014年筹款额度缺乏我们原来的（非常雄心勃勃的）目标，但我认为决定专注于招募而不是2014年筹款是正确的选择。

2014年我们提出了$ 1,237,557在贡献。11.我们最大的资金来源是：

  • 〜400,000美元来自我们的夏季匹配挑战（这包括Jaan Tallinn，Edwin Evans和Rick Schwall的匹配资金200,000美元）
  • 我们的200,000美元冬季匹配挑战（这包括泰尔基金会的匹配资金100,000美元）
  • 从一天开始〜175,000美元SV给予筹款人，〜63,000美元来自捐赠者来自捐赠者，捐赠者通常不会贡献miri
  • 来自Thiel Foundation的〜150,000美元（除了冬季匹配挑战赛匹配资金100,000美元）
  • jed mccaleb〜105,000美元。12.

难以将Miri 2013和2014年筹款收入与Miri的筹款收入有意义地比较，因为Miri于2012年及之前是一个相当不同的组织。13.但是，无论如何，我会展示比较：

2014年捐款总额比2013年较低，但这是由于2013年从杰德麦卡莱布捐赠的一次性异常捐赠，那么那么新捐助者。（顺便说一下，这一捐款允许我们的研究计划比当时最初计划更快地跳跃。）如果我们留出McC金宝博娱乐aleB的大型2013和2014礼品，Miri的筹款从2013年到2014年略有增长。

2014年新的捐助者增长强劲，但这主要来自SV期间的小捐款给予筹款人。返回捐赠者的一部分大部分增长也可归因于在SV期间捐赠的失效捐助者给予筹款人。

这张图表显示了在过去几年中的大大资助来自小型，中型，大型和非常大的捐赠者。我的理解是，2012年，2013年和2014年显示的分布相当典型的非利润我们的规模。（再次，由于Jed McCaleb的异常捐赠，Green Bar于2014年比2014年更高。）

2014年运营

建立2013年组织改进，我们的运营效率和稳健性大幅度改进了2014年。与我们的研究计划特定的操作流程在一起，现在占据了较小的员工时间，而不是以前，这使我们能够转移金宝博娱乐更多能力越来越多的研究计划。金宝博娱乐我们also implemented many new policies and services that make MIRI more robust in the face of staff turnover, cyberattack, fluctuations in income, etc. I won’t go into much detail on operations in this post, but we’re typically happy to share what we’ve learned about running an efficient and robust organization when someone asks us to.

即将推出

我们的下一个战略计划员额不会为另一个月或两两个人提供准备，但当然我们已经有许多议案项目。以下是您在未来几个月内从Miri期望的内容：

  • 我们有几个技术报告和会议文件接近完成。
  • 我们今年夏天正在运行一系列研讨会。许多最有前途的人金宝博官方 ，或者谁在展示承诺米西克群体在世界各地，被邀请。
  • 我们开始为兼职的问题进行兼职近期研究金宝博娱乐Miri的技术议程。
  • 我们共同组织了一个决策理论会议5月剑桥大学。
  • 我们再次赞助SPARC.为数学上有才华的高中家夏令营。
  • 我们在2014年进行的两种大型战略研究中“完成了整理触摸”。我们还将完成运行金宝博娱乐超明阅读组然后组装结果超明阅读指南。我们还将贡献其他文章ai影响，直到我们为该工作的专用资金耗尽。14.

保持关注我们的下一个战略计划，这将包含有关我们计划计划的更多细节。

  1. 今年的年度审查比去年短5部分审查2013年，部分原因是2013年是一个异常复杂的焦点年，部分原因是去年的5部分审查只是努力生产而不是值得的。此外，由于我们最近完成了转向应计会计，我现在可以更轻松地提供每个日历年的年度审查，而不是3月至2月期间。因此，对2014年日历年度2014年的审查将与在前一年度审查（2013年3月至2014年2月）中报告的内容重叠。↩
  2. 显然，有预测和政治挑战，也有与确保近期AI系统的良好成果有关的技术挑战，但Miri选择专门从事技术挑战金宝博官方与人类兴趣对齐过度智能化。也可以看看：友好的AI研究作为有效的金宝博娱乐利他主义和为什么miri？↩
  3. 显然，分工比我在此描述的更复杂。例如，FHI在2014年生产了一些技术研究进展，而Miri则为一些公开的外展。金宝博娱乐↩
  4. 这些粗略按时间顺序：Botworld.那通过Löb的定理囚犯困境的计划均衡那自我改善时空嵌入式智能自我引用问题那响度那分布允许平铺分阶段主观欧盟最大化器那非无所不知，概率推断和元化学那易燃那UDT具有已知的搜索顺序那与人类兴趣对齐过度智能化那走向理想化决策理论那可计算概率分布融合......那因果图中的剪辑代理那安全自主ai的概念学习。我也很努力Rob Bensinger的博客文章序列归化诱导作为一个半技术的“报告”。概述的一些技术议程的支持论文在2015年之前没有在我们的博客上宣布。为了比较，我们在2013年发布了10个技术论文/报告，但其中7个是我们的罕见技术报告2013年12月研讨会。2013年的10个技术论文/报告是：概率元素学中的科学归纳那Fallenstein的怪物那递归定义的逻辑理论是明确定义的那用于自我修饰的剪辑代理，以及呼吸障碍那拖延悖论那关于Newcomblike问题的决策算法比较那概率逻辑中的真理绝定那5-and-10问题和平铺代理形式那在参数化多态性的一个形式化中降低数学强度， 和一系列无限的声音理论序列，每个都证明了下一个一致。↩
  5. 2014年访问研究金宝博娱乐人员包括Abram Demski，Scott Garrabrant，Nik Weaver，Nisan Stiennon，Vladimir Slepnev，Tsvi Benson-Tilsen，Danny Hinzze和Ilya Shaticeer。↩
  6. 聘用额外的发展人员将通过释放更多的研究计划工作的时间来帮助发展我们的研究计划，并聘请一个或多个额外的高管将直接金宝博娱乐增加针对我们研究计划的新员工能力。↩
  7. 今年，我已经崩溃了以前的类别“战略”和“展示中”研究我只是称之为“战略研究”。金宝博娱乐↩
  8. 这些粗略按时间顺序：人工智能领域有多大？那强大的合作：友好AI研究中的案例研究金宝博娱乐那世界的计算分配那是我的观点逆女吗？那信息技术指数和非指数趋势那如何研究超智大智策略那从事涉及某种形式的预测或预测的运动的人的初步提示那AGI安全工程的基础那LOOSEMORE AI安全和吸引子那AGI结果和文明竞争力那这金融时报关于Miri的故事那边缘的三个误解.org对“AI神话”的对话那关于人工智能威胁的两次错误那溪流和艾丽兴和时间线上的布鲁克斯和Searle那戴维斯AI能力和动机。↩
  9. 这些粗略按时间顺序：胚胎选择认知增强那为什么我们需要友好的ai那着名的AI预测的错误，见解和课程那人工智能的伦理， 和人工智能探索工程。↩
  10. HPMOR.现在有完成的，但它尚未完成2014年。↩
  11. 除了捐款，Miri还有一些资金来源。例如，在2014年，我们实现的和未实现的收益，以及利息和股息 - 但不包括我们的加密货币的实现和未实现的收益，这是高度挥发性的 - 达到97,000美元。我们还从电子书销售额达到了〜7,000美元，〜5,000美元金宝博官方 程式。↩
  12. 这项捐款是用纹波制成的，我们最终销售。↩
  13. 看到“与过去几年的比较”这里。此外，在2014年，我们转型为应计会计，这使得与过去几年的比较令人困惑。此外，本节中的数字可能与过去发布的估计不完全匹配，因为每一个现在，我们仍然在捐赠者数据库中找到并纠正旧错误。最后，请注意，此页面上的数字或图中不包含单纯捐赠。↩
  14. 我们很乐意支持授予专用资金和低管理开销的战略研究，但我们正在专注于我们的技术研金宝博娱乐究计划。↩