2013年述评:战略与说明文研究金宝博娱乐

||米里策略

这是我个人和定性的第三部分2013年MIRI的自我回顾，我开始回顾MIRI 2013年的研究活动。金宝博娱乐所谓“研金宝博娱乐究活动”，我指的是主要针对研究人员的外展工作三种类型Mir金宝博娱乐i进行的研究：

我将在这篇文章中回顾MIRI的战略和说明性研究;金宝博娱乐我对MIRI 2013年友好人工智能研究的回顾将在未来的文章中发表金宝博娱乐．在这篇文章的其余部分，我通常不会去区分哪些文章是“说明性”的，哪些是“战略性”的，因为它们大部分是两种类型的。金宝博娱乐

2013年战略和展示研究金宝博娱乐

  1. 2013年，我们的职业战略和展示研究由4个论文由Miri，4个杂志，4个章节，4章在同行评审的书中出版，金宝博娱乐9章，深入分析博客帖子，14篇短暂的分析博客文章16面试与领域专家。
  2. 我认为这些努力在很大程度上完成了他们的目标目标，但2013年我们学会了如何在未来更有效地完成这些目标的大量巨大。特别是…
  3. 专家访谈似乎是实现一些目标的最有效方式。
  4. 我们应该专注于写下已知的东西(“说明性研究”)，并描述开放式研究问题，而不是自金宝博娱乐己进行大型战略研究项目其他人可以检查它们。

我们在2013年做了什么?为什么

下面我列出了构成MIRI公众形象的作品22013年战略和展示研究。金宝博娱乐

MIRI的工作人员对战略性和说明性研究的价值和目的有不同的看法。金宝博娱乐就我个人而言，我支持或开展上述研究活动的目的是:金宝博娱乐9

  1. 测试我们的假设并且试着去理解那些不同意我们的人的观点。例子：“我们如何有效地规划未来几十年？”，“政策制造者将如何处理AGI？”，Greg Morrisett采访。
  2. 学习新事物可以为有关存在风险和友好人工智能的战略行动提供信息。例子: Hadi esmailzadeh采访和Josef Urban采访的“六个领域的算法进展”。
  3. 让其他研究人员更容易贡献金宝博娱乐对具有战略意义的问题进行少量的初步研究，或者解释如何更深入地研究超级智能战略中的一个开放性问题。例子:《智能爆炸微观经济学》、《六个领域的算法进步》、《我们如何有效地规划未来几十年?》
  4. 与可能有一天贡献的研究人员建立关系金宝博娱乐战略性，展示或友好的AI研究。金宝博娱乐例子：许多面试。
  5. 解释小“拼图”，有助于Miri典型的观点关于存在风险和友好的AI。例子人工智能什么时候会被创造?、“数学证明可以改进，但不能保证……”以及尼克·贝克斯特德的采访。

这些努力在多大程度上实现了目标?

我们有尚未实现测量我们的战略和陈述研究努力的定量方法符合他们旨在的目标。金宝博娱乐10目前，我只能分享我的主观、定性印象，这是基于我自己的推理，以及我与一些密切关注我们研究的人的几次对话，在给他们看了前一节近乎完整的草稿之后。金宝博娱乐

再保险:目标(1)．很难找到廉价而有力的证据来证明我们的假设。因此，针对这一目金宝博娱乐标在2013年进行的研究要么微弱地证实了我们的一些假设(如Greg Morrisett访谈)11)，或者只能迈出一小步，为我们的假设提供良好的检验(例如，“我们如何有效地规划未来几十年?”以及“政策制定者将如何处理AGI?”)。

再保险:目标(2)．同样，也很难找到廉价的证据来有力地确定一个重要战略变量的价值(例如AI时间线，AI起飞速度，或“收敛乐器值“思想思想设计空间”。因此，旨在学习金宝博娱乐新事物的研究通常仅提供小更新（对我们，无论如何），例如，关于摩尔定律的前景（牵引艾迪Esmaeilzadeh采访）和关于当前的自动数学推理状态（Josef城市访谈）。

对于难以获得关于人工智能长期未来的额外高概率比证据，我自己的反应是:

好吧，好消息是，人类似乎已经抓住了关于未来机器的大多数低悬垂的水果，这不是15年前的情况。坏消息是，单独的低悬垂的水果并不明确我们的目标赢得．但由于赌注真的很高，我们只需要接受长期预测是困难的， 然后更加努力．我们需要获取更多的研究人员涉及的研究人员金宝博娱乐可以制作更多的研究，我们必须准备好接受它可能需要10个博士学位的工作，在我们获得关于一个有关战略相关变量的2：1贝叶斯更新之前。Also, it’s probably good to “marinate” one’s brain in relevant fields even if one isn’t sure which specific updates one will be able to make as a result, because filling one’s brain with facts about relevant fields will likely improve one’s intuitions in general about those fields and adjacent fields.12

再保险:目标(3)．我不知道MIRI 2013年的战略和说明性研究对其他研究人员有多大用处，但这种效果通常需要几年的时间才能实现。金宝博娱乐13我对这项工作持乐观态度，使他人能够进一步研究，因为这就是事情通常在其他研究领域工作，而且我看不到金宝博娱乐思考过度理智策略将是任何不同的。

再保险:目标(4)．是的，许多面试与有用的域名专家建立了新的关系。

再保险:目标(5)．同样，我在这里没有很好的衡量效果的方法，但是我经常收到来自社区成员的评论，“这样和那样的帖子真的澄清了。”一些分析也被其他组织定期联系起来。例如,赠送和80000小时与我们联系在一起模型结合后在解释自己的研究策略时。金宝博娱乐

展望2014年

正如上面和我的业务回顾，我们仍然需要找到更好的方法来衡量我们的研究影响。金宝博娱乐一个合理的首次尝试测量技术将是调查我们希望以各种方式影响的人的子集，并询问我们的研究如何影响它们。金宝博娱乐

然而，即使在我们可以从改进的影响衡量中学习之前，我想我可以谈谈我在做战略和说明性研究中学到的东西，以及我们计划在2014年做什么不同的事情。金宝博娱乐

首先,采访领域专家是实现我的说明性和战略性研究目标的一种高效方式金宝博娱乐．每次面谈只需要几小时的工作人员时间，而典型的“短”分析员额成本为5至25人小时，典型的“深入”分析员额成本为10至60人小时。

2013年7月1日至12月30日，我们共发表了16篇领域专家访谈，平均每月2.66篇。2014年我打算平均每月发表4次或更多的采访。

第二,说明性研究往往比新的战金宝博娱乐略研究更有价值．Miri（与我们在FHI的合作者配合）有一个罕见的大积木的战略研究已经“完成”但不是金宝博娱乐清楚地解释任何地方。显然，解释已经完成的战略研究的努力比进行原始战略研究，然后进行原始战略研究金宝博娱乐还解释一下。

第三,我们可以通过与具有代表性的、我们想要影响的群体的智慧评论家进行对话，将说明性的(有时是战略性的)研究项目排序金宝博娱乐（例如，AI研究人金宝博娱乐员，兆慈善家），然后准备与其关切相关的着作。We can then dialogue with them again after they’ve read the new exposition, and see whether that particular objection remains, and if so why, and if not then what other objections remain — which can in turn inform our prioritization of future writings, and also potentially reveal flaws in our models.

第四，学生们想知道他们可以做的哪些研究项目会有助于澄清过度智能金宝博娱乐战略．不幸的是，经验丰富的教授还没有敲开我们的门来问我们他们可以研究和写哪些论文来阐明超级智能策略，但是很多金宝博娱乐研究生是。此外，我与研究生有几个谈话顾问他们说他们必须花很多时间帮助他们的学生找到好的项目，如果有人准备适合他们的学生和系里的研究项目提案，那将是很有帮助的。金宝博娱乐

此外,有一些这种策略的历史先例是有效的，即使是在年轻狭窄的超级智能策略领域。最明显的例子是尼克Beckstead，谁写了一个有用的哲学论文，以塑造远期的重要性，部分原因是与fhi.．JoãoLourenço目前正在撰写关于前景的哲学论文道德增强部分原因是与FHI和MIRI的对话。Jeremy Miller是关于普遍智力措施的论文项目的早期规划阶段，部分原因是与Miri的对话。我认为还有其他例子，但我还没有能够确认它们。

因此，在2014年，我们计划发布对研究项目的简短描述，可以告知SuperIntelligence策略。金宝博娱乐一旦尼克博斯特罗姆的人来说，这将更容易超智这本书出版了，所以我们可能会等到今年夏天。

第五，尼克·博斯特罗姆(Nick Bostrom)即将出版的关于机器超级智能的学术专著提供了一个独特的机会，让更多的研究人员参与到超级智能策略中来金宝博娱乐．因此，我们的一些“外展对潜在的战略研究人员”在2014年工作将包括帮助促进Bostrom的书籍。金宝博娱乐我们还计划发布这本书的阅读指南，以增加人们完成的频率，并从书中获益。

  1. 请注意，我所说的“MIRI的战略研究”或“超级智能战略研究”是一个聚焦于超级智能金宝博娱乐的子集赠送所谓的“战略原因选择研究金宝博娱乐“ 和东航可以称之为"导致优先级的研究金宝博娱乐．”↩
  2. 和往常一样，我们在2013年也做了一些重要的非公开的战略研究(至少现在还没有)，比如对尼金宝博娱乐克·博斯特罗姆(Nick Bostrom)即将出版的书的各种草稿进行了100多个小时的反馈超级智能:路径、危险、策略，在罗宾汉森的早期草案中有15个小时的反馈即将到来的关于全脑仿真的书，并为即将出版的MIRI出版物做了大量工作。↩
  3. Yudkowsky将此标记为“友好的AI＃1中的开放问题”，但我将其分类为战略研究，而不是友好的AI研究。金宝博娱乐↩
  4. 在文章发表时，Joshua Fox是MIRI研究助理。金宝博娱乐↩
  5. 《为什么我们需要友好的人工智能》发表在2014年初的一期杂志上认为但它是2013年在网上发布的。↩
  6. “友好的人工智能”这一章只不过是尤多科夫斯基早期著作“人工智能在全球风险中的积极和消极因素．”↩
  7. 这些章节是在2011年和2012年编写的，但在2013年之前没有在这本书中发表。↩
  8. 还有对尤德科夫斯基的两次简短采访:Yudkowsky在逻辑不确定性上“ 和 ”尤多考斯基说:“我们现在能做什么?”””↩
  9. I have an additional goal for some of our outreach and research activities, which is to address difficult problems in epistemology, because they are more relevant to MIRI’s research than to (e.g.) business or the practice of “normal science” (in the Kuhnian sense). “Pascal’s Muggle” is one example. Also, some of our expository and strategic research doubles as general outreach, e.g. the popular interview with Scott Aaronson.↩
  10. 嗯，我们可以共享一些基本的Web流量数据。根据Google Analytics，页面（2013年战略或陈述研究），因为它们创建的最“独特的PageView”是：“何时会创建AI？”金宝博娱乐（〜15.5k），斯科特Aaronson采访（〜13.5k），哈迪Esmaeilzadeh采访（〜13.5k），“机器人，AI和失业反常见问题解答”（〜12k），“什么是智力？”(~5k), “Pascal’s Muggle” (~5k), “A brief history of ethically concerned scientists” (~4.5k), “Intelligence explosion microeconomics” (~3.5k), and “From philosophy to math to engineering” (~3.5k). Naturally, this list is biased in favor of articles published earlier. Also, Google Analytics doesn’t track PDF downloads, so we don’t have numbers for those.↩
  11. 例如:“Yes, I completely agree with [the]”。数学证明改善......“帖子”“和”我认为重新架构和重新编码事情几乎总是在与螺栓接近相比时赢得安全性。“↩
  12. 最后一点是我听取的动机的一部分有那么多非小说类有声书2013年9月以来。↩
  13. “智能爆炸微观经济学”启用“六个域中的算法进展，”但仍然是这种情况美里不得不委托做“域的算法进展”。↩