嵌入式代理—决策理论—嵌入式世界模型
强大的代表团—子系统金宝博官方对齐
关于好奇心和智力谜题的最后一个词:
我描述了嵌入式代理艾米(Emmy)，并说我不明白她是如何评估自己的选择、为世界建模、为自己建模，或者分解和解决问题的。
在过去，当研究人员谈论解决这些问题的金宝博娱乐动机时，他们通常关注的是动机来自人工智能的风险．人工智金宝博娱乐能研究人员希望制造出能够以人类的通用方式解决问题的机器二元论并不是一个考虑这类系统的现实框架。金宝博官方特别是，当AI系统变得更智能时，这种近似方法很容易失效。金宝博官方当人们弄清楚如何构建通用的人工智能系统时，我们希望这些研究人员能够更好地理解他们的系统，分析他金宝博官方们的内部属性，并对他们未来的行为充满信心。金宝博娱乐
这是当今大多数研究更新决策理论和子系统对齐的研究人员的动机。金宝博娱乐金宝博官方我们关心的是基本的概念谜题，我们认为我们需要解决这些谜题，以获得对未来AI系统的信心，而不是过于依赖蛮力搜索或试错。金宝博官方
但关于为什么我们可能需要或不需要对人工智能进行特定的概念理解的争论相当长。在这里，我没有试图深入讨论这场辩论的细节。相反，我一直在讨论一组特定的研究方向金宝博娱乐智力拼图而不是一种工具性战略。
将这些问题作为工具性策略来讨论的一个缺点是，它可能会导致一些误解为什么我们认为这类工作非常重要。在“工具性策略”的视角下，人们很容易将给定的研究问题与给定的安全问题直接联系起来。金宝博娱乐但这并不是说我认为现实世界的嵌入式系统“过于贝叶斯化”，如果我们不弄清楚当前的理性代理模型出了什么问题，金宝博官方这就会在某种程度上造成问题。这当然不是说我在想象未来的AI系统是用二阶逻辑编写的!金宝博官方在大多数情况下，我并没有试图在研究问题和金宝博娱乐特定AI故障模式．
相反，我在想的是:当我们今天试图思考什么是代理时，我们确实似乎在使用错误的基本概念，从这些概念不能很好地转移到更现实的嵌入式框架中来看。
如果未来的AI开发者是仍然当他们试图真正构建强大的现实世界的优化器时，使用这些困惑和不完整的基本概念似乎是一个糟糕的位置。而且，在试图开发更有能力的系统的过程中，研究金宝博娱乐团体似乎不太可能默认地解决大部分问题。金宝博官方通过蛮力搜索，进化确实在没有“理解”任何这一切的情况下，找到了如何构建人类大脑的方法。
嵌入式代理是我试图指出我认为非常重要和中心的地方，我感到困惑，我认为未来的研究人员也有可能陷入困惑。金宝博娱乐
还有很多优秀的人工智能校准研究都着眼于更直接的应用;金宝博娱乐但我认为安全研究有不同类型的签名，而不是我在这里谈到的金宝博娱乐谜题。
求知欲并不是我们优先考虑这些研究方向的根本原因。金宝博娱乐但也有一些实用有时从一个充满好奇心的地方着手研究问题的好处，而不是金宝博娱乐只使用“实际影响”的镜头我们如何看待这个世界。
当我们用好奇的眼光看待世界时，我们会把目光投向让我们看不清的困惑源头;我们地图上的空白点，我们镜头上的瑕疵。它鼓励检查假设和盲点,有助于心理与我们的“工具性战略”角度后者更容易瘦的冲动在任何可靠的前提下我们手头上我们可以得到更多的可靠性和闭包在我们的早期思想。
嵌入式代理这是我们大多数(如果不是全部的话)巨大好奇心背后的一个有组织的主题。这似乎是许多具体困难背后的核心谜题。
你喜欢这篇文章吗?你可以享受我们的另一个分析的帖子,包括:
