AGI成果和文明能力

||分析

大卫维克多

[最新的IPCC]报告称,“如果您建立了所有这些技术和国际协议,我们仍然可以在[公正] 2度上停止变暖。”我自己的评估是你需要做的行动的种类是如此英勇,我们不会在这个星球上看到它们。

-David Victor,1UCSD国际关系教授

一段时间后,我参加了来自科学,技术,金融和政治的“搬运工和振动器”会议。我们正在讨论我们最喜欢改善世界的最大想法。一个人的大想法是复制各国之间的最佳实践。例如,当它显示国家可以显著提高器官捐献率通过使用退出而不是选择选择,其他国家应该只复制该解决方案。

每个人都认为这是一个无聊的建议,因为它确实是很明显一个好主意,没有辩论。当然,他们都同意了它也是不可能的永远无法成为标准练习.所以我们搬到了另一个更易行的大想法。

后来,在与一群人的会面见面,我告诉一些经济学家,他们就某个问题的建议是“直截了当的欧洲人101”,我没有任何反对分享。相反,我问道,“但我们如何让政策制定者实施ECON 101解决方案?”经济学家笑着说:“好吧,是的,我们不知道。我们可能无法。“

我该怎么说?这不是一个应该与自我改善的AGIS一起使用的文明。2

反铲是一项强大而省力的发明,但我不会让一个两岁小孩来驾驶。这大概就是我对21世纪人类驾驭像自我改善AGI3.我希望我们有更多的时间先长大。我认为,我们需要成功地处理自我改善的AGI的行动“是如此英勇,以至于我们不会在这个星球上看到它们,”至少在短期内不会。4.

但我怀疑,我们都无法长期抵制建造AGI的诱惑,大多数顶级人工智能科学家也是如此。5.建立AGI的动机实在是太多了:一个自我改进的AGI可能会给它的制造商——无论是谷歌、NSA、中国还是其他什么机构——带来历史上最大的先发优势。即使最初的几个团队能够明智地设计他们的AGIs,随着时间的推移,更小更不明智的团队将更容易完成任务。摩尔疯狂科学的法则,诸如此类。

有些人比我对自我改善的AGI更担心。毕竟,一个可能在1950年预测,我们不会有文明的能力,以避免未来半个世纪的全能核战争,但我们做过躲开它 (如果只要仅仅)。6.也许我们不应该这么担心AGI。

虽然我认为重要的是考虑这样的第二次猜测争论,但我一般试图将世界带到面值。当我看看我们成功的东西时,我们失败的各种事物,从AGI看起来很好要难得多而不是我们经常失败的东西,如令人兴奋的方式切换到Opt-Out Out Out Offul Offorms捐赠的程序。

但我不会假装这个文明竞争力的问题已经解决。如果可以解决问题,请执行此操作,如果不多,则需要一本书长度参数。(尼克博斯特罗姆的超明关于为什么AGI控制问题很难说很多,但它并没有说人类是否可能上升到这一挑战。7.

试图回答这个问题是什么点?如果我的视图是正确的,我认为结果是我们需要重新评估我们的社会差分投资在全球挑战中。如果你想在NBA中取得成功,但你是只有5'3“高,那么你就需要投入更多的时间和精力在你的篮球目标上,而不是你在其他更适合你的目标上。如果我们想让我们的文明生存完善的美国国际集团,但是我们的文明甚至不能切换到选择退出程序对于器官捐献,那么我们就不得不开始前,更加努力,花更多的钱,比我们等在播洒生存追求其他的目标时,我们的文明更自然地适合,就像制造很棒的智能手机。

但如果我错了,我们的文明正朝着处理AGI的方向前进就像它之前处理的那样,氟氯化碳,那么可能有更紧急的事情要做金宝博娱乐 .(尽管如此,如果更友好的AI在游戏中表现不佳,我们还是会感到惊讶展示鉴于目前全球全职“友好型”人工智能研究人员不足5名,我们可以获得更多的利润。)金宝博娱乐

我不会在这篇文章中争论自己的观点.相反,我只是想问一下:怎么可能学习这个文明能力和阿加的到来的问题?我可能会将分析分为两部分:(1)AGI控制问题的表面形状和难度,(2)当它来敲门时,我们是否有可能有文明能力来处理这种形状和难度的问题。

请注意,这篇文章中的一切都是一种简化.问题难度和文明能力并不是单一的概念,尽管为了简洁,我有时会把它们当成单一的概念。但是像AGI控制这样的问题在不同的方面有不同程度的困难,有些是技术上的,有些是政治上的,我们文明的不同部分在不同的方面有不同的能力,而这些不同的能力正经历着不同的趋势。

难题

AGI控制问题有多难,并且在哪种方式是难以置信的?为了说明这样的分析看起来像什么,我可能总结了自己的想法,如下所示:

  1. 控制问题对AGI来说是很新奇的,看起来真的很难。例如,从自我改进的AGI中获得良好的结果似乎需要尚未观察到的哲学上的成功——即哲学上的成功仅仅是写安全的自动驾驶仪软件。More generally, there seem to be several novel problems that arise when we’re trying to control a system more generally clever and powerful than ourselves — problems we have no track record of solving for other systems, problems which seem analogous to the hopeless prospect of chimpanzees getting humans to reliably do what the chimps want. (See超明.)
  2. 此外,在我们在AGI能力中达到“无回头”点之前,我们可能会得到相对较少的实体机会来解决这些新的AGI控制问题。特别是(1)稳定比赛在国家和/或公司之间,鼓励发展速度而不是发展的安全性,似乎是可能的,(2)进步可能很快当新的控制问题变得相关时。作为一种物种,我们并不是那么擅长在我们的第一个尝试之一就完全正确 - 而是通过学习数十几个或数百个初始失败来获得正确的东西。但我们可能没有这种奢侈品,具有新的AGI控制问题。
  3. AGI控制挑战看起来特别容易受到一个问题的影响,即“位置外部性“ - 一个武器比赛是一个例子 - 以及相关的协调问题。(我在脚注中解释了“位置外部性”的概念。8.

但这只是一个粗略的草图,其他思想家可能具有不同模型的AGI控制问题的形状和难度。

公文竞争力

第二,我们的文明能否迎接挑战?AGI发明之时,我们的文明能力是否足以解决AGI控制问题?

我自己对这个问题的悲观看法并不是基于任何概念性的论证,也不是对当前趋势的简单推断。相反,它来自于你可能会做的那种多层面实证推理,当你试图思考,在30年内,我们更有可能拥有自动驾驶出租车,还是火星殖民地。也就是说,我结合了我所拥有的关于世界如何运行的不同模型:太空旅行与人工智能发展的速度,趋势支出这两个问题,政治和商业动机在起作用,哪种协调问题必须解决,相关领域的专家似乎认为什么问题,哪些问题专家在回答更好或更糟,等等。我还根据我所知道的一些具体事实调整了最初的综合估计:关于赤裸裸的,大约辐射的危害,大约自动车辆, 等等。9.

不幸的是,因为一个人对AGI结果的预测不能被简单的概念论证强有力地支持,试图解释自己对这个主题的观点是一项劳动密集型的任务,这可能解释了为什么我没有看到一个好的、彻底的案例任何一个关于AGI结果的乐观或悲观。人民有他们的观点我们需要做大量工作来详细解释这些观点的来源。不过,能看到有人尝试一下还是不错的。

作为一个开始,我将链接到一些研究,它们与我所建议的这类调查具有一些方法论特征:

如果您决定执行一些小型此分析项目,请在下面的评论中链接到您的工作。


  1. 引用自Radiolab.名为“在这个星球的尘埃中.”
  2. 超明博斯特罗姆是这样说的(第259页):

    在智能爆炸发生之前,我们人类就像玩炸弹的小孩。这就是我们玩具的力量和我们行为的不成熟之间的不匹配……对于一个手里拿着未引爆炸弹的孩子来说,明智的做法是轻轻放下炸弹,迅速走出房间,联系最近的成年人。然而,我们这里拥有的不是一个孩子,而是许多孩子,每个孩子都有一个独立的触发机制。我们会的机会全部找到危险的东西的感觉似乎几乎可以忽略不计,我们可以通过逃跑来达到安全,对于智力爆炸的爆​​炸会带来整个穹苍。也没有长大的视线。

  3. 通过“AGI”我的意思是一台可以通过尼尔森的就业测试的金宝博官方计算机系统(见什么是AGI?)。通过“自我改善的AGI”,我的意思是一个AGI通过自己的原始计算机科学和机器人研究来提高自己的能力(并不完全由说,收集更多关于世界或获取更多计算资源的数据)。金宝博娱乐通过“自己的能力”我的意思是包括AGI本身以进一步的目标创造的继承人系统的能力。金宝博官方在本文中,我通常是互换的“AGI”和“自我改善AGI”,而不是因为所有AGIS都必须在强烈的意义上自我改善,而是因为我期望第一个AGIS不是自我改善原因,自我改善的AGIS将在几十年来之下,如果不是更快的话。从宇宙学的角度来看,这种延迟只是眨眼。
  4. 我故意没有完全钉住什么关于我们的文明似乎不充分,以满足AGI控制的挑战;当在气候变化面前提出评论文明竞争力时,大卫维克多的选择也是如此。我认为,由于许多原因,我们的文明竞争力不足以挑战,但我也对每个原因产生不同程度的不确定性以及他们适用的问题,这些细节难以表达。
  5. 见TOP100投票的AI时间线预测Müller&Bostrom(2014).作者询问了一个顶级的生活AI科学家的样本:“出于这个问题的目的,假设人类科学活动继续存在严重的负面破坏。到哪一年你会看到[AGI]存在的概率(10%/ 50%/ 90%)存在?“每个置信水平的中位数回复分别为2024,2050和2070。

    为什么要相信人工智能科学家呢?他们不是从一开始就对AI的发展非常乐观吗?是的,早期的人工智能科学家对人工智能的发展速度给出了一些令人尴尬的说法,但早期的人工智能怀疑者对什么是人工智能也给出了许多现已被证明是错误的说法不会能够做到。最早的民意调查我们拥有的人工智能科学家从1973年起,以及对该调查关于AGI时效的问题的最受欢迎的回应是最悲观的选择,“超过50年”。(假设我们没有获得2023年的AGI,最终会得到正确的。)

  6. 一个有趣的次级问题是:人类的能力是否与其能力保持一致?当我们的能力跳跃时,就像他们发明核武器那样,我们控制这些能力的能力也会跳跃吗,出于社会/道德的需要或其他力量?爱因斯坦说:“核武器改变了一切,除了我们的思维模式。”他暗示,他希望我们不要像“成年人”那样迅速成熟,以明智地管理核武器。我们还没有真正“明智地”处理它们,但我们至少已经足够明智地避免了迄今为止的全球核灾难。
  7. 什么超明关于这个主题的说明可以在第14章找到。
  8. 弗兰克(1991年)这样解释这个概念:

    Micromotives和Macrobehavior.,Thomas Schelling观察曲棍球运动员,留给自己的设备,几乎从不戴头盔,即使几乎所有人都会投票给秘密选票中的头盔规则。没有戴头盔增加胜利的几率,也许是通过使它更容易看到和听到......同时,没有戴着头盔会增加受伤的几率。如果玩家重视胜率的速度越高,而不是重视额外的安全,它是理性的,而不是佩戴头盔。讽刺,斯科利观察,就是当所有人丢弃他们的头盔时,竞争平衡就像所有人都磨损一样。

    头盔问题是我们可能称之为的例子位置外部性.戴头盔的决定不仅对戴头盔的人有重要影响,而且对他和其他人操作的参考框架也有重要影响。在这种情况下,个人的收益部分取决于他们在参照系中的地位。对于曲棍球运动员来说,重要的不是他们的绝对比赛能力,而是他们相对于对手的表现。谢林告诉我们,在存在位置外部性的地方,个人理性行为往往会导致一个没有人会选择的结果。

    军备竞赛是一种很好的地位外部性。作为亚历山大(2014)把它放在上帝的视野中,最好的解决方案是世界和平,根本没有一个国家。从系统内部,没有国家可以单方面强金宝博官方制执行,所以他们的最佳选择是继续将钱投入导弹......“

  9. 换句话说,我对AGI结果持悲观态度的理由看起来像是模型组合和调整.或者你可以用霍顿·卡诺夫斯基的话说集群思维.或作为我的早期读者之一,“正常日常推理”。