强大的规划人员，不是感知软件

在过去的几个月里，一些主要的媒体网点一直在传播令人担忧的想法，即AI可能自发地获得感知和转向我们。许多人指出了这个概念的缺陷，包括Andrew Ng，一些着名的AI科学家：

我今天没有看到我们今天工作的东西的任何现实的道路 - 这是惊人的，创造大量的价值 - 但我没有看到我们写的软件的任何路径，我们写的是邪恶的。

他继续说，关于众生的主题：

计算机正在变得越来越聪明，并且与自动驾驶汽车或语音识别系统或搜索引擎有用。金宝博官方那是智力。但感知和意识并不是我谈到的大多数人认为我们正在走向路径。

我说，这些异议是正确的。我全心全意地恳求NG的积分 - 我看到我们写的软件可能会自发地“变成邪恶”。

如果我们希望能够为所有人使用强大的AI系统，我们需要提前完成重要的工作，但这不是因为强大的AI系统可能会获得一些“意识的火花”并转动金宝博官方反对我们。我也不担心创建一些ulcan-esque机器，推断（使用冷机械推理），这是“逻辑”结束人类，我们是一些时尚“不值得”。提前进行研究的原因并不是太棒了。金宝博娱乐相反，我们尚不知道如何在没有意外后果的情况下，在没有意外后果的情况下，我们如何编程智能机器。

问题不是终结者。这是“泰国国王”。迈纳斯国王准确地了解他所希望的所有物体，他触摸了黄金。他的食物转向黄金，他的孩子转向黄金，他饿了饥饿。

强大的智能软件系统就是：软件系统。金宝博官方没有意识的引发，这在足够强大的规划算法上下降，并用爱情或仇恨掩盖他们。你只能得到你编程的东西。¹

要构建强大的AI软件系统，您需要写入金宝博官方一个代表世界以某种方式的程序，以及以应对感知和经验，不断改进这个世界模型。您还需要编程强大的规划算法，该算法使用该世界模型来预测未来，找到导致某些特定类型期货的路径。

我们在Miri研究的重点不是以思想金宝博娱乐或觉得所做的感觉机器为中心。它旨在提高我们对节目软件系统的能力，以执行朝向非常特定的期货类型的计划。金宝博官方

编程为构建高度准确的世界模型的机器，采用强大的规划算法可以产生非凡的益处。科技创新对世界各地的生活质量产生了很大的影响，如果我们可以在人类智能的方式方面可以聪明地编制机器 - 只有更快，更好 - 我们可以自动化科技创新。谈到改善人类和动物福利的任务，这将是一场比赛。

为了建立一个获得这些福利的机器，第一个挑战是以高度可靠的方式进行这一世界建模和规划：您需要确保它将一致追求其目标，无论如何。如果你能成功，第二个挑战是让这一目标安全有用的。

如果您建立了一个强大的规划系统，旨在瞄准癌症的期货，那么它可能会在金宝博官方其世界模型中代表所有以下事实：（a）癌症治疗的最快途径涉及扩散机器人实验室以费用生物圈与绑架人类的实验;（b）一旦你意识到这一点，你就会试图关闭;和（c）如果你关闭它，癌症需要更长的时间来治愈。然后，系金宝博官方统可以执行一个涉及欺骗您的计划，直到它能够抵抗，然后激增机器人实验室并绑架人类。事实上，这是你所要求的。

我们可以避免这种结果，如果我们设法建立做我们的意思而不是我们所说的机器。那种行为没有免费下来：你必须编程它。

具有极其好的世界模型的超人规划算法可以找到你从未想过的解决方案。它可以使用您未注意的模式，并找到您未识别的快捷方式。如果您遵循SuperIntelligent搜索过程生成的计划，则可能具有灾难性的意外后果。引用斯图尔特罗素教授（作者领先的AI教科书）：

主要关注的是不是鬼的紧急意识，但只是制定高质量决策的能力。在这里，质量是指采取的行动的预期结果效用，其中utility函数由人工设计师指定。现在我们有一个问题：

1.实用程序功能可能不会与人类的值完全对齐，这是（充其量）非常难以放下。

2.任何能力有能力的智能系统都会愿意确保自己的持续存在，并获得物理和计算资源 -金宝博官方 而不是为了自己的缘故，而是在其指定的任务中取得成功。

一种金宝博官方优化n变量函数的系统，其中目标取决于大小k

人类有一个很多不适合“哦，在治疗癌症时不要绑架任何人的人。通过手工进行全面描述人类价值观和人类规范，以机器可读的格式似乎不可行。如果我们希望超人规划算法生成的计划来尊重我们所有复杂的未言文的限制和欲望，那么我们需要开发新的工具来预测和控制通用自治代理的行为。没有两种方法。

许多人，当他们第一次遇到这个问题时，提出反身响应，因为它似乎不会像问题那样努力。一个常见的一个是“如果一个强大的策划者开始运行Amok，我们就可以拔掉它” - 一种在云计算时代越来越过的异议，如果系统可以访问互联网或任何其他网络，则完全失败金宝博官方它可以将自己复制到其他机器上。

另一个常见的是“为什么没有系统金宝博官方输出计划而不是拥有它执行计划？”- 但如果我们指导一个强大的规划程序来生成计划，例如（a）审查计划批准的人和（b）执行它导致癌症被治愈，那么计划可能是一个看起来不管怎样，这很好但利用一些可预测的监督和绑架人。

或者你可以说，“我们怎样才制作只会回答问题的系统？”金宝博官方但是，您到达了“回答问题”的超人规划程序如何？您是否会将其编程为输出它预测的文本将导致您在答案输出后按“高度满意”按钮？因为在这种情况下，系统可能会井输出文本，构成特别欺骗金宝博官方性的答案。或者，如果添加约束，答案必须准确，则可能会输出修理您在将来提出更容易问题的文本。

Maybe you reply, “Well, perhaps instead I’ll direct the planner to move toward futures where its output is measured by this clever metric where…,” and now you’ve been drawn in. How exactly could we build powerful planers that search for beneficial futures? It looks like it’s possible to build systems that somehow learn the user’s intentions or values and act according to them, but actually doing so is not trivial. You’ve got to think hard to build systems that figure out all the intricacies of your intentions without deceiving or manipulating you while acquiring that information. That doesn’t happen for free: ambitious, long-term software projects are still ultimately software projects, and we have to figure out how to actually write the required code.

如果我们能够弄清楚如何构建与我们兴趣对齐的更智能的机器，那么福利可能是非凡的。像菲尔比（Evernote的创始人）说，AI可能是“宇宙所见过的最伟大的力量之一。”有可能到达那里，但它需要一些工作。

1. 您可能会对AI系统进行计划，以意识到，这将极大地使情况复杂化 金宝博官方- 因为那时系统本身将是一个道德患者，其偏好将重视我们的考虑因素。然而，正如NG注意到，“意识”与“智力”不同。↩