MIRI的使命是“确保创造比人类更聪明的智能产生积极的影响。”实现这一使命的核心战略是找到并训练一个可以称为"美国国际集团影响专家“和”友好的人工智能专家。”
美国国际集团的影响专家开发与预测技术发展相关的技能(例如建筑)计算模型人工智能的发展或推理智能爆炸微观经济学)，预测AGI对社会可能产生的影响，并确定哪些干预措施最有可能增加人类在AGI诞生过程中安全航行的机会。概述,请参阅Bostrom & Yudkowsky (2013)；米尔豪泽与萨拉蒙(2013)．
友好的人工智能专家开发对数学体系结构开发有用的技能，可以使agi成为值得信赖的(或“人性化”)。这项工作是在米里研究研金宝博娱乐讨会在各种出版物中，例如。Christiano等人(2013)；希巴德(2013)．注意,术语“友好AI”被选中(部分),以避免我们理解主题的建议很好,一个短语“道德AI”听起来可能像的人可以学到很多关于通过百科全书,但是我们目前的理解值得信赖的AI太贫穷。
那么，“专家”是什么意思呢?
在代表性任务上可靠的出色表现
一个专家是指“在某一学科上有高度技能或知识的人”。有些领域(如象棋)提供了专业知识的客观衡量标准，而其他领域则依赖于同行的认可(如哲学)。然而,随着爱立信(2006)注:
被同行公认为专家的人并不总是在与领域相关的任务上表现出众。有时，他们甚至在一些与专业技能有关的核心任务上也不比新手好，比如选择未来价值更高的股票、治疗心理疗法患者和预测。
因此，我们应该指定种类我们希望AGI影响专家和友好的人工智能专家的专业知识是Ericsson(2006)所称的“在代表任务上可靠的优越性能的专业知识”(RSPRT)。如果有一群经过同行认证的“AGI影响专家”(他们在预测AGI结果方面并不比外行好多少)，或者一群“友好的AI专家”(他们不太擅长生成与faie相关的新数学结果)，对人类不会有什么好处。
以RSPRT为例，考虑象棋。做国际象棋评级可靠地跟踪RSPRT?是的,他们做的。例如，象棋等级与选择最佳走法的能力高度相关(de Groot 1978；爱立信&莱曼，1996；Van der Maas & Wagenmakers 2005）.
类似的方法已经在医学上被用来确认“作为RSPRT的专门知识”(Ericsson2004，2007)、运动(2007)、运动(Côté等，2012)、拼字游戏(Tuffiash等人，2007)和音乐(Lehmann & Grüber 2006）.
那么，AGI影响专家和FAI专家应该在哪些“代表性任务”中表现出卓越的性能呢?
学习专业知识
至少，我们希望AGI的影响专家和友好的AI专家会有一种学术在AGI影响和友好AI方面的专业知识。也就是说，他们应该知道基本的辩论是关于什么，经常给出哪些论点和反论点，以及是谁给出的。一般来说，专家从琐罗亚斯德教的神学来理论时间旅行在至少有这的专业知识。
例如,尼克·博斯特罗姆十多年来金宝博娱乐，他断断续续地研究AGI的影响，并就该主题撰写了大量文章。无论是在谈话中还是在他的著作中，Bostrom都在AGI影响方面展示了相当扎实的学术专业知识。
相比之金宝博娱乐下，人工智能研究人员可以不倾向于熟悉与AGI影响相关的基本争论、争论和反驳。(为什么会这样?那不是他们的工作。)因此，很难看到对AGI影响的预测有多大价值AAAI长期人工智能未来主席小组其中没有包括在AGI影响方面具有已知学术专长的参与者，只有一个参与者(几乎)参与了更广泛的领域机器伦理社区(艾伦Mackworth）.
但也许我们不应该把任何价值放在那些做在这方面也有学术专长。也许那些有学术专长的人不能可靠地在任何更实际的事情上显示出更优秀的表现，而仅仅是知道哪些论点和反驳在起作用。
理想情况下，AGI影响专家和FAI专家应该做的不仅仅是展示学术专长。还有哪些RSPRT专家的例子应该与AGI影响专家和FAI专家都相关?
对证据的敏感性
一般来说,人类不准确地更新他们的信念以回应中等大小的证据，比如完全理性的代理人会。这就是为什么我们需要科学我们的方法是“积累了如此大量的证据，以至于科学家们无法忽视它。”
但在测试关于未来技术设计及其可能影响的假设时，通常没有“如山”的证据。作为解释在其他地方他说:“你拥有的证据越少，或者越难解释，你就越需要理性来得到正确答案。(随着可能性比越来越小，你的先验就需要变得更好，你的更新也需要更加准确。)”
人类的理性能得到改善吗?基于几十年的“去偏”研究(金宝博娱乐2004年组成)，我猜我们或许可以，但我们还没有努力尝试。
为什么认为在理性训练领域有唾手可得的果实?很少有人，如果有的话，会像我们最优秀的音乐家和运动员那样努力提高他们的音乐和运动能力。最好的音乐家多年来每天练习4个小时(Ericsson等，1993）;游泳冠军迈克尔·菲尔普斯花了每天3-6小时池中;太阳微系统公司的联金宝博官方合创始人比尔。乔伊在大学里每天练习10个小时的编程(格拉德威尔2008年, 46页);据报道，有一段时间，国际象棋冠军鲍比·费舍尔练习了国际象棋一天14小时．但是谁会每天花4-10个小时去做校准的培训或者建立良好的关系理性的习惯？
理想情况下，AGI影响专家和Friendly AI专家都应该培养良好的理性习惯，以增加他们对证据的敏感性，这样他们就可以对未来的技术进行富有成效的推理，而无需首先积累(不可用的)“如山的证据”。
FAI专家应该是什么样的?
接下来，让我们来看看FAI专家所需要的特殊技能。显然，这些专家必须能够在数学上产生新的结果。幸运的是，数学研究技能比心理学或哲学金宝博娱乐研究技能更容易衡量，也更“客观”。
FAI专家还需要什么专业知识?
Yudkowsky描述FAI专家是这样的:
一个友好的AI(专家)是专门研究数学结构与现实世界的对应关系的人。它是那些看了Hutter的AIXI规范并阅读了实际方程式的人，并看到“哦，这个AI将试图获得对其奖励通道的控制，”以及许多更微妙的问题，如“这个AI假定自己与环境之间存在笛卡尔边界;它可能会把铁砧砸在自己头上。”同样,在负2例如，看着决策理论的数学规范，看到“哦，这很容易被敲诈”，然后想出一个不那么容易被敲诈的AI的数学反规范。
如果你想要进行关于哪种AI设计更安全的合理讨论，你可以将一些专业技能应用到这种讨论中，(如上文所述的技能)，这些技能是由专门回答这类问题的人通过多年的研究和实践积累起来的。
让我举几个例子，用尤多科夫斯基的话来说，“专门研究数学结构与现实世界中发生的事情之间的对应关系。”(特别是，我们感兴趣的是具有某种“一般智能”的数学对象的结果，而不是像这样的窄域算法的真实世界的结果。超级工厂病毒)。就AGI行为可以用数学建模而言，这是一项至关重要的技能。
Yudkowsky读了Hutter的说明书AIXI并看到“哦，这个AI将试图控制它的奖励通道”和“AI假定自己与环境之间存在笛卡尔边界;它可能删除一个铁砧但他没有写下这些事实的技术演示。
Laurent Orseau(benoir)和马克环(IDSIA)独立地证明了这些问题(AIXI-like agents hacking their own reward channels, and the challenge of the笛卡尔边界)《指环与奥索》(2011)和《奥索与指环》(2011)．他们还致力于将后一个问题正式化《Orseau & Ring》(2012)一样,比尔希巴德(威斯康星大学)希巴德(2012)．
这类工作的例子来自MIRI的研究人员或研究助理包括金宝博娱乐杜威(2011)，德布兰科(2011),Yudkowsky (2010)．
这种技能可能很难客观地衡量，但确实如此许多大学管理者(或对冲基金和科技公司的招聘人员)试图在数学研究人员身上识别的技能。金宝博娱乐然而，这些组织在寻找最优秀、最聪明的人才方面取得了很大成功。所以，也许有一些希望来识别有这种技能的人。
FAI专家还应该在其他任务上表现出“可靠的卓越表现”。例如，他们必须能够形式化哲学概念。这里同样没有衡量技能的标准，但我们有许多过去的例子可以借鉴。上个世纪是一个非常富有成效的世纪，它将以前神秘的哲学概念转变成了正式的概念。看到柯尔莫哥洛夫(1965)论复杂与简单，所罗门诺夫(1964年,一个，1964 b感应,冯·诺依曼和摩根斯特恩(1947)理性,香农(1948)和Tennenholtz开发的“程序均衡”(关于概述，请参阅里奇2012）.
对开发友好的人工智能专业知识感兴趣的读者应该考虑参加列表中列出的课程(或阅读教科书)MIRI研究人员课程建议金宝博娱乐．
AGI影响专家应该是什么样的?
首先，AGI影响专家应该在预测技术进步方面表现出可靠的卓越表现，尤其是人工智能的进步。
不幸的是，我们还没有找到可靠的方法来成功地进行长期技术预测(Muehlhauser & Salamon, 2012)，专家和外行都是特别是不擅长预测人工智能(Armstrong & Sotala 2012）.摩尔定律的性价比公式已经意外强劲但是，如果不做额外的假设(在大多数情况下)，就无法从这种趋势中预测特定的技术，而这些假设(在大多数情况下)没有摩尔定律那么可靠。著名的技术预报员Ray Kurzweil索赔很准确，但这些说法可能夸大了．
所有这些都不足为奇:良好的预测表现似乎依赖于对预测的定期反馈，而在进行长期预测时，快速的反馈是不可能的。
幸运的是，预测者有很多机会提高他们的表现。霍洛维茨&泰特洛克(2012)，在自己的实证研究和预测培训的基础上，就该课题提出一些建议:金宝博娱乐
- 明确的量化他说:“要想成为长期期货估值师，最好的办法是养成进行定量概率估计的习惯，这样就可以在很长一段时间内，就准确性进行客观评分。明确的量化可以实现明确的准确性反馈，这有助于学习。”
- 提供指导未来:如果这些场景“带有清晰的诊断标志，政策制定者可以利用这些标志来判断他们是否正在走向或远离一种场景……可证伪的假设将高空场景的抽象带回到地球”，那么思考特定的场景是有用的。
- 利用聚合“平均预测通常比绝大多数的个人预测更准确，这些预测被计算为....[预报员]也应该养成一些更好的预报员在[IARPA预测锦标赛称为王牌将他们的预测与群体平均、加权平均算法、预测市场和金融市场进行比较。
阿姆斯特朗和索塔拉(2012)补充一点，它可以帮助分解现象分成许多部分，并对每个部分做出预测，因为反馈可能至少对一些部分是可用的。这是人工智能预测所采用的方法不确定的未来（Rayhawk等，2009年）.
Armstrong和Sotala还对“苦差事”(大量的辛勤工作和金钱)和“洞察力”(完全意想不到的新想法)进行了区分。刷任务比较容易预测，而洞察力却很难预测。如果一种现象主要与刷任务有关，而不需要新的概念突破，那么刷任务的预测就更可靠了。例如，虽然人工智能似乎是一种“洞察”技术，整个大脑模拟可能主要是一种“刷任务”技术，因此更容易预测。
关于AGI影响专家所需的技能还有很多要讲，但是现在我将上面的示例和下面的段落留给读者博斯特罗姆(1997)：
(最近)在智力舞台上有了一个主演角色，而这正是这位演员所欠缺的。这就是广义科学家的作用博学的他对许多科学领域都有深刻的见解，并有能力利用这些见解解决那些更复杂的问题，这些问题通常被认为对科学家来说太难了，因此要么交给政客和大众媒体处理，要么干脆被忽视。可悲的是，忽视这些问题并不能使它们消失，而且……其中一些问题甚至对智慧生命的生存构成了挑战。
[其中一个问题是]超智当许多专家认为我们很快就会有能力创造超级智能时，[这]具有了现实紧迫性。
[这门学科]可以解决什么问题?嗯，像这样的问题:如果我们把类人思维的处理速度提高一百万倍，对不同领域的预测能力会提高多少?如果我们延长短期记忆或长期记忆呢?如果我们增加神经种群和连接密度?超级智能还会有什么其他能力?我们能知道什么是超级智能的动机吗?是否可以预先设定它是善良的或慈善的，或者这些规则是否很难与它的认知过程的灵活性相协调?如果有这样的愿望，一个超级智能能否智胜人类，即使我们最初采取了严格的预防措施，以避免被操纵，也能实现自己的目标?可以用一个超级智能来控制另一个吗?如果我们被迫放弃智慧的宝座，我们人类的自我认知和抱负会发生怎样的变化? How would we individuate between superminds if they could communicate and fuse and subdivide with enormous speed? Will a notion of personal identity still apply to such interconnected minds? …Could we then be able to compete with the superintelligences, if we were accelerated and augmented with extra memory etc., or would such profound reorganisation be necessary that we would no longer feel we were humans? Would that matter?
也许这些问题问得不对，但至少是一个开始。
最后的想法
美里它的存在完全是为了接待这样的专家并使他们能够进行研究金宝博娱乐FHI和玩cs游戏的人与他人分享你的关注点。这三个组织都是资金有限的，但在某种程度上，他们也是有限的人，因为世界上只有很少的人在积极开发AGI影响专业知识或友好AI专业知识。这篇文章的目的是为那些可能想要为这个重要的研究项目做出贡献的人指明道路。金宝博娱乐
笔记
感谢Carl Shulman, Kaj Sotala, Eliezer Yudkowsky, Louie Helm和Benjamin Noble的有益评论。
