嵌入式的好奇心

||分析

这是结论嵌入式代理系列。之前的帖子:

嵌入式代理- - - - - -决策理论- - - - - -嵌入式世界模型
强大的代表团- - - - - -子系统金宝博官方对齐


关于好奇心和智力谜题的最后一句话:

我描述了一个嵌入式agent, Emmy,说我不理解她是如何评估她的选择,如何模拟世界,如何模拟自己,如何分解和解决问题。

在过去,当研究人员谈到解决这类问题的金宝博娱乐动机时,他们一般都是集中在动机上人工智能的风险。人工智金宝博娱乐能研究人员希望制造出能够像人类一样解决各种问题的机器二元论并不是思考这类系统的现实框架。金宝博官方特别是,随着人工智能系统变得越来越智能,这种近似尤其容易出现故障。金宝博官方当人们想出如何建立通用的人工智能系统时,我们希望这些研究人员能够更好地了解他们的系统,分析他们金宝博官方的内部属性,并对他们未来的行为充满信心。金宝博娱乐

这是当今大多数研究人员的动机,他们正在研究诸如无更新决策理论和子金宝博娱乐系统对齐等问题。金宝博官方我们关心基本的概念难题,我们认为我们需要弄清楚这些问题,以获得对未来人工智能系统的信心,而不需要太依赖暴力搜索或尝试和错误。金宝博官方

但关于为什么我们可能需要或不需要人工智能的特殊概念见解的争论已经很长时间了。我在这里没有试图深入讨论那场辩论的细节。相反,我一直在讨论一组特定的研究方向金宝博娱乐智力拼图,而不是作为一种工具性策略。

把这些问题作为工具策略来讨论的一个缺点是,它可能会导致一些误解为什么我们认为这种工作很重要。有了“工具策略”的镜头,人们很容易把给定的研究问题与给定的安全问题直接联系起来。金宝博娱乐但这并不是说我想象现实世界的嵌入式系统“太过贝叶斯”,如果我们不找出当前理性机构模型的问题所在,这就会在金宝博官方某种程度上造成问题。当然,我并不是在想象未来的人工智能系统是用二阶逻辑编写的!金宝博官方在大多数情况下,我并没有试图在研究问题和金宝博娱乐特定的AI故障模式

相反,我在想的是:当我们今天试图思考什么是代理时,我们确实似乎在使用错误的基本概念,从这些概念没有很好地转化为更现实的嵌入式框架这一事实可以看出。

如果AI开发者在未来是仍然当他们试图实际构建强大的现实世界优化器时,使用这些混乱和不完整的基本概念,这似乎是一个糟糕的处境。似乎研究界不太可能在试图开发更有能力的系统的金宝博娱乐过程中,默认地找出其中的大部分。金宝博官方当然,进化在没有“理解”这一切的情况下,通过蛮力搜索找到了构建人类大脑的方法。

嵌入式机构是我试图指出我认为非常重要和核心的地方,我感到困惑,我认为未来的研究人员也有可能陷入困惑。金宝博娱乐

还有很多优秀的人工智能对齐研究都着眼于更直接的应用;金宝博娱乐但我认为那个安全研究与我在这里谈到的谜题有着不同类型的金宝博娱乐签名。


求知欲并不是我们赋予这些研究方向特权的最终原因。金宝博娱乐但是有一些实用从一个好奇的地方去研究问题的优势,而不是金宝博娱乐只使用“实际影响”镜头我们如何看待这个世界。

当我们用好奇的眼光看待世界时,我们会倾向于那些阻碍我们看清世界的困惑之源;地图上的空白点,镜头上的瑕疵。它鼓励检查假设和盲点,有助于心理与我们的“工具性战略”角度后者更容易瘦的冲动在任何可靠的前提下我们手头上我们可以得到更多的可靠性和闭包在我们的早期思想。

嵌入式代理是我们大部分(如果不是全部)大好奇心背后的一个组织主题。这似乎是隐藏在许多具体困难之下的一个核心谜题。