这是结论嵌入式代理系列。之前的帖子:

嵌入式代理- - - - - -决策理论- - - - - -嵌入式世界模型
强大的代表团- - - - - -子系统金宝博官方对齐

---

关于好奇心和智力谜题的最后一点:

我描述了一个嵌入式代理人，艾美，并表示我不明白她如何评估她的选择，模拟世界，型号，或分解和解决问题。

过去，当研究人员谈论研究这些问题的动金宝博娱乐机时，他们通常关注的是来自人工智能的风险．AI研金宝博娱乐究人员希望建造可以解决人类通用方式解决问题的机器，以及二元主义这不是思考这些系统的现实框架。金宝博官方特别是，随着人工智能系统变得更聪明，这种近似尤其容易崩溃。金宝博官方当人们想出如何构建通用人工智能系统时，我们希望这些研究人员能够更好地理解他们的系统，分析他们的金宝博官方内部属性，并对他们未来的行为有信心。金宝博娱乐

这是当今大多数研究人员的动机，他们正在研究无更新的决策理论和子系金宝博娱乐统对齐。金宝博官方我们关心基本的概念谜题，我们认为我们需要弄清楚这些谜题，以便对未来的AI系统有信心，而不需要太依赖蛮力搜索或试错。金宝博官方

但是，关于我们为什么可能需要或不需要人工智能的特定概念性见解的争论相当长。在此，我不想深入讨论这场辩论的细节。相反，我一直在讨论一组特定的研究方向金宝博娱乐智力拼图，而不是作为一种工具性策略。

将这些问题作为工具策略来讨论的一个缺点是，它可能会导致对这些问题的一些误解为什么我们认为这种工作非常重要。通过“工具策略”的视角，我们很容易从一个给定的研究问题和一个给定的安全问题中得出直接的联系。金宝博娱乐但这并不是说我想象的现实世界的嵌入式系统“太贝叶斯”了，如果我们不弄清楚目前的理性代理模型出了什么问题，金宝博官方这就会导致问题。这当然不是我想象未来的AI系统是用二阶逻辑编写的!金宝博官方在大多数情况下，我并没有试图在研究问题和金宝博娱乐特定AI故障模式．

相反，我想的是:当我们试图思考代理是什么时，我们似乎确实使用了错误的基本概念，正如我们所看到的，这些概念并没有很好地转移到更现实的嵌入式框架中。

如果未来的AI开发者是仍然当他们试图构建强大的现实世界的优化器时，使用这些困惑和不完整的基本概念，这似乎是一个糟糕的位置。而且似乎研究界不太可能在试图开发更有能力的系金宝博娱乐统的过程中，默认地解决大部分问题。金宝博官方进化当然是通过蛮力搜索，在不“理解”任何这些的情况下构建人类大脑。

嵌入式机构是我试图指出我认为是一个非常重要和中央的方式，我觉得在那里我认为未来的研究人员也风险陷入混乱。金宝博娱乐

也有很多优秀的人工智能对齐研究正在进行，着眼于更直接的应用;金宝博娱乐但我认为安全性研究与我在这里谈到的谜题有着不同的类型特金宝博娱乐征。

---

求知欲并不是我们选择这些研究方向的根本原因。金宝博娱乐但是有一些实用从一个好奇的地方导向研究问题的优势，而不是金宝博娱乐只运用“实际冲击”镜头我们如何考虑世界。

当我们用好奇的眼光看待这个世界时，我们瞄准了阻碍我们看清事物的困惑根源;地图上的空白点，镜头上的瑕疵。它鼓励检查假设和盲点,有助于心理与我们的“工具性战略”角度后者更容易瘦的冲动在任何可靠的前提下我们手头上我们可以得到更多的可靠性和闭包在我们的早期思想。

嵌入式机构是我们大多数，即使不是全部，大好奇心背后的组织主题。这似乎是隐藏在许多具体困难之下的一个核心谜团。

你想弄清楚一些事情，但你还不知道怎么做。

你必须以某种方式将任务分解成子计算。不存在“思考”的原子行为;智力必须由非智力部分构成。

由部分制成的代理是所做的一部分反应性努力，因为代理可能必须推理这些部分的不可能的配置。

由零件制成是什么自我推理和自我修改甚至成为可能。

然而，我们在本节中主要要讨论的是另一个问题:当代理由部分组成时，可能会有对手不仅在外部环境中，而且在代理内部也是如此。

这一组问题是子系统金宝博官方对齐:确保子系统不会以不同的目的工作;金宝博官方避免针对非预期目标对子流程进行优化。

• 良性诱导
• 良性的优化
• 透明度
• mesa-optimizers

阅读更多»

因为世界很大，作为主体的它可能不足以完成它的目标，包括它的思考能力。

因为代理是做的部分，它可以提高自己，变得更有能力。

改进可以采取多种形式:代理可以制作工具，代理可以制作后续代理，或者代理可以随着时间的推移学习和成长。然而，继承者或工具需要更强大的能力，这样才有价值。

这就产生了一种特殊类型的委托/代理问题:

你有一个初始代理人和一个继任者代理人。初始代理将确切地决定后继代理的外观。然而，后继代理比初始代理更智能、更强大。我们想知道如何让后继代理稳健地优化初始代理的目标。

以下是这个委托/代理问题的三个例子:

在里面AI对齐的问题在美国，一个人类正试图建立一个可以信赖的人工智能系统，以帮助实现人类的金宝博官方目标。

在里面瓷砖代理问题在美国，代理试图确保它可以相信未来的自己会帮助实现自己的目标。

或者我们可以考虑一个更难的平铺问题-稳定的自我改善人工智能系统必须建立一个比金宝博官方自己更聪明的继任者，同时还要值得信赖和有帮助。

对于不涉及人工智能的人类类比，你可以考虑皇室继承的问题，或者更普遍的问题，即在不忘记目标的情况下建立组织来实现预期目标。

困难似乎是双重的:

首先，人或AI代理可能无法完全理解自己和自己的目标。如果代理商无法以完全详细写出它想要的内容，这使得它很难保证其继任者将有利于目标。

其次，委派工作背后的想法是你不必自己做所有的工作。您希望继承者能够以某种程度的自主行动，包括学习您不知道的新事物，并挥舞新技能和能力。

在极限情况下,一个很好的健壮代表团正式账户应该能够处理任意能够继任者不抛出任何错误,如人类或人工智能构建一个难以置信的聪明的人工智能,或者像一个代理人,不断学习和成长的这么多年,最终比过去的自己更聪明。

问题不在于(仅仅)后续代理可能是恶意的。问题是，我们甚至不知道什么叫不存在。

从两种观点来看，这个问题似乎都很难。

最初的主体需要弄清楚比它更强大的东西有多可靠和值得信赖，这似乎很难。但后继主体必须弄清楚在初始主体无法理解的情况下该怎么做，并试着尊重后继主体能看到的目标不一致的，这似乎也很难。

乍一看，这似乎不是一个像“做决定“ 或者 ”有模型”。但是，关于“建立一个后继者”问题有多种形式的观点本身就是一个二元视图。

对于嵌入式代理人，未来的自我不特权;这只是环境的另一部分。建立一个分享您的目标的后继者之间没有深刻的区别，并确保您自己的目标随着时间的推移而保持相同。

所以，尽管我谈论的是“初始”和“后续”代理，请记住，这不仅仅是人类目前面临的瞄准后继者的狭窄问题。这是关于作为一名持续不断地学习的代理的基本问题。

我们称之为这个问题强大的代表团．例子包括:

• Vingean反射
• 的铺瓷砖问题
• 避免古德哈特定律
• 值加载
• 可订正
• 通知监督

阅读更多»

一个大于其环境的代理可以:

• 在它的脑袋里放一个精确的环境模型。
• 想一想结果每一个潜在的行动方案。
• 如果它不完全了解环境，那就等等每一个可能的的方式环境可能在它的头脑中，就像贝叶斯不确定性一样。

所有这些都是理性代理的典型概念。

一个嵌入式代理不能做任何那些东西，至少不是以任何直接的方式做到。

一个困难是，由于代理是环境的一部分，对环境的每个细节建模将要求代理对自己的每个细节建模，这将要求代理的自我模型与整个代理一样“大”。一个探员无法钻进自己的脑袋里。

缺乏一个清晰的代理/环境边界迫使我们与自我参照的悖论作斗争。好像代表世界上的其他人还不够难似的。

嵌入式世界模型必须以一种更适合嵌入式代理的方式来表示世界。这个集群中的问题包括:

• “可实现性”/“真理的颗粒”问题:现实世界不在主体的假设空间内
• 逻辑的不确定性
• 高级模型
• 多层次模型
• 本体危机
• 归化归纳，即主体必须将其自身模型纳入其世界模型的问题
• 人际关系推理，有关自己的副本存在的问题

阅读更多»