Miri对自我改善AI的主要担忧并不是那么可能是由“坏”演员而不是全球领域的“良好”演员创造;相反，我们的大部分担忧都在纠正这种情况根本没有人知道如何创建具有已知，稳定的首选项的自修改AI。（这就是为什么我们看到主要问题金宝博娱乐 并鼓励其他人进行相关的研究，而不是试图阻止“坏”行动者创造AI。）金宝博娱乐
这和许多其他基本的战略意见可以总结为5个关于AI的纯粹事实问题的结果，以及我们认为暗示的2个lemmas，如下：
情报爆炸论文。足够智能的AI将能够实现它可以在短时间内完成的东西实现大量的重新投资认知回报，例如改善自己的认知算法或购买/窃取大量服务器时间。智力爆炸将在它可以在短时间内耗尽的东西之前击中非常高的智力。看：Chalmers（2010）;Muehlhauser＆Salamon（2013）;Yudkowsky（2013）。
正交论文。心灵设计空间足够巨大，可以包含具有几乎所有偏好的代理，并且这些代理可以对实现这些偏好具有乐于理解的理性，并且具有很大的计算能力。例如，介意设计空间理论上包含强大，有用的Rational代理，它充当预期的纸夹最大化器，并且始终选择的选项，导致最大数量的纸夹。看：Bostrom（2012）;阿姆斯特朗（2013）。
收敛工具目标论文。大多数实用程序函数将产生从最可能最终目标的乐器目标的子集。例如，如果您想建立一个充满快乐众生的星系，如果您想制作回形针，您需要的物质和能量，也是如此。本论文是为什么我们担心非常强大的实体，即使他们没有明确的不喜欢我们：“AI不爱你，也不讨厌你，但你是由原子制成的，它可以用于别的东西。”虽然通过正交性论文，您可以始终拥有一个明确的代理人，终端更喜欢不做任何特定的事情 - 这是一个爱你的AI，你不会想打破备用原子。看：Omohundro（2008）;Bostrom（2012）。
价值论文的复杂性。它需要大块的kolmogorov复杂性，以描述甚至是理想化的人类偏好。也就是说，即使在我们采取反思均衡的极限（判断您自己的思想过程）和其他标准规范理论之后，我们应该'应该做的是一个计算复杂的数学对象。随机生成的实用程序功能的过度明智不会做任何与银河有价值的东西，因为它不太可能意外地击中了对众生文明的最终偏好，这是一个引领有趣的生命。看：Yudkowsky（2011）;Muehlhauser＆Helm（2013）。
价值论文的脆弱性。获得一个目标系统90％右不给你金宝博官方90％的价值，任何一位在10位数字中的正确拨打9个数字将使您连接到90％的人，类似于Eliezer Yudkowsky的90％。有多个维度，消除了价值的维度将消除几乎将来的所有价值。例如，分享几乎所有人类值的外星物种，除了它们的“无聊”的参数设置要低得多，可能会投入到重播单一的峰值，以略微不同的像素颜色重放单一的峰值，最佳的经验（或者等同物）。友好的AI更像是令人满意的门槛，而不是我们试图连续10％的改进。查看：Yudkowsky（2009年那2011年）。
这五个论文似乎意味着两个重要的lemmas：
间接正规性。编程自我改善的机器智能来实现抓住的东西 - 似乎类似的事情会导致一个糟糕的结果，无论苹果派和母性如何响起。例如，如果你给予AI最终目标“让人们幸福”它就会让人们的快乐中心达到最大程度。“Indirectly normative” is Bostrom’s term for an AI that calculates the ‘right’ thing to do via, e.g., looking at human beings and modeling their decision processes and idealizing those decision processes (e.g. what you would-want if you knew everything the AI knew and understood your own decision processes, reflective equilibria, ideal advisior theories, and so on), rather than being told a direct set of ‘good ideas’ by the programmers. Indirect normativity is how you deal with Complexity and Fragility. If you can succeed at indirect normativity, then small variances in essentially good intentions may not matter much — that is, if two different projects do indirect normativity correctly, but one project has 20% nicer and kinder researchers, we could still hope that the end results would be of around equal expected value. See:Muehlhauser＆Helm（2013）。
友善的大额外难度。您可以建立一个友好的AI（通过正交性论文），但您需要大量的工作和巧妙，以获得目标系统。金宝博官方可能更重要的是，其余的AI需要满足更高的清洁标准，以便通过十亿个顺序自我修改来保持不变的目标系统。金宝博官方任何充分智能的AI要做清洁的自我修改都会往往会这样做，但问题是智能爆炸可能会从AIS开始，AIS非常不那么智能，例如，使用遗传算法或其他这种方式重写自己的AISthat don’t preserve a set of consequentialist preferences. In this case, building a Friendly AI could mean that our AI has to be smarter about self-modification than the minimal AI that could undergo an intelligence explosion. See:Yudkowsky（2008）和Yudkowsky（2013）。
这些lemmas反过来有两个主要的战略意义：
- 我们有很多工作要做，如间接规范和稳定的自我改善。在这个阶段，这项工作很多看起来真正的基础 - 也就是说，我们无法描述如何使用无限计算电源来做这些东西，更不用说有限的计算能力。我们应该尽早开始这项工作，因为基础研究往往需要很多时间。金宝博娱乐
- 这re needs to be a Friendly AI project that has some sort of boost over competing projects which don’t live up to a (very) high standard of Friendly AI work — a project which can successfully build a stable-goal-system self-improving AI, before a less-well-funded project hacks together a much sloppier self-improving AI. Giant supercomputers may be less important to this than being able to bring together the smartest researchers (see the open question posed inYudkowsky 2013.）但是所需的优势不能留下机会。将事物留给默认意味着项目不太小心自我修改将具有大于休闲利他主义的优势。
你喜欢这篇文章吗？你可以享受我们的其他分析帖子，包括：
