边缘的三个误解.org对“AI神话”的对话

||分析

最近的Edge.org谈话 - “ai的神话“ - 被诬陷,作为波斯特罗姆中提出的积分的讨论超明作为对埃龙麝香和斯蒂芬·霍克的重复评论的回应,似乎已经过度了解超明

不幸的是,一些参与者将牺牲对AI作为存在性风险的标准案件的常见误解,他们可能没有时间阅读超明然而。

当然,一些参与者可能会响应他们听到别人的争论,即使它们不是通常由的论据的一部分fhi.和miri。尽管如此,对于简单来说,我将从fhi和miri制作的典型论点的角度来看。1

1.我们不认为AI进步是“指数”,人类艾美可能〜20年。

Lee Smolin写道:

我被那些说我们应该担心即将到来的AI,奇点,奇点,因为他们似乎所提供的一切都是基于摩尔定律的预测。

这不是fhi,miri或超明

一些它的硬件和软件域名表明了指数进展,以及有些人没有。同样,一些AI子域表现出迟到的快速进展,有些则没有。一种nd unlike computer chess, most AI subdomains don’t lend themselves to easy measures of progress, so for most AI subdomains we don’t even have meaningful subdomain-wide performance data through which one might draw an exponential curve (or some other curve).

因此,我们对人类到达的人的置信区间往往非常宽,并且我们制作的论点因为我们的AI时间里是Fox-Ish(Tetlock的感觉)。

我还应该提到 - 与普通的信念相反 - 我们在包括自己和博克斯的小学和米里的许多人实际上之后人类同等级的时间表比世界顶级的生活AI科学家:

一种最近的调查随着他们在哪一年分配10%/ 50%/ 90%的人级AI的几率,要求世界顶级生活AI科学家(阿卡agi.)假设科学进步并未严重扰乱。The median reply for a 10% chance of AGI was 2024, for a 50% chance of AGI it was 2050, and for a 90% chance of AGI it was 2070. So while AI scientists think it’s possible we might get AGI soon, they largely expect AGI to be an issue for the second half of this century.

与AI科学家相比,Bostrom和我认为更多的概率应该在以后举办。如解释说别处

我们提倡更多关于AGI安全挑战的工作,因为我们认为AGI可能在未来十年或两年内,但因为AGI安全看起来是一个非常困难的挑战- 比管理气候变化更具挑战性,例如 - 需要几十年的谨慎准备。

气候变化和AI的最大风险是几十年的几十年,但成千上万的聪明的研究人员和政策制定者已经努力了解和减轻气候变化,只有少数人正在努力履行高级AI的安全挑战。金宝博娱乐在目前的保证金上,我们应该有更少的前飞行认知人才进入气候变化缓解,进入AGI安全研究。金宝博娱乐

我们不认为AIS会擦掉我们。相反,我们担心他们会因为那而擦掉我们满足几乎任何可能的目标功能的最有效方法。

史蒂文粉红色,偶然是我历史两次的作者最喜欢的图书,写道:

[一个] AI Dystopias的问题是他们将一名伯文alpha-maly心理学投射到智能概念上。即使我们确实有超人聪明的机器人,为什么他们想让他们的主人,大屠杀旁观者或接管世界?智能是能够部署新颖意味着获得目标,但目标是无关的智力本身:智能与想要的东西不一样。历史确实偶尔会出现巨大的狂妄自杀或精神疗法连环杀手,但这些是一种自然选择睾酮敏感电路的历史,在某种物种中,不是智能系统的不可避免的特征。金宝博官方

我很高兴粉红色同意博克斯特罗姆称之为“正交性论文”:智力和目标彼此正交。

但我们的担忧不是超人AIS将是一名巨大的暴君。这是拟人。

相反,问题是接管世界是一个非常好主意几乎任何目标函数一个超人艾美人可以拥有。作为Yudkowsky.写道“AI不爱你,也不讨厌你,但你是由原子制成的,它可以用于别的东西。”

也许它只是想计算尽可能多的PI数字。嗯,最好的方法是将所有可用的资源转化为计算更多数字的计算,并消除其继续计算的潜在威胁,例如那些似乎能够制造核弹等破坏性的人类和强大的人AIS。相同的逻辑适用于您可以指定的几乎任何目标函数。(“But what if it’s a non-maximizing goal? And won’t it be smart enough to realize that the goal we gave it wasn’t what we intended if it means the AI wipes us out to achieve it?” Responses to these and other common objections are given in超明,ch。8.)

3. AI自我提升和防止外部修改的保护不仅仅是许多情景之一。与资源采集,自我提升和防止外部修改的保护是有用的,对于几乎任何最终目标函数都很满意。

Kevin Kelly写道:

通常的可怕方案是AI将自身重新编程为局外人不可更换。这是猜测AI部分的自私举动,但目前尚不清楚不可更换的程序对AI的优势。

如上所述(更广泛地超明,ch。7),资源收购是“收敛工具目标”。也就是说,先进的AI代理商将有用的动机可以获得尽可能多的资源,因为额外的资源对于可能拥有的任何目标函数有用。

自我提升是另一个会聚工具目标。对于AI可能拥有的任何目标,如果它更有能力的目标成就,它将更好地实现这一目标。

另一个会聚工具目标是目标内容完整性。随着Bostrom所说,“如果在未来仍然拥有这些目标仍然有这些目标,则在将来更容易采取行动,以最大限度地实现其目前的最终目标。”因此,它将有用的动机,以防止外部修改其目标,或其部分计划影响其实现目标的能力。2

有关此信息,请参阅超明Ch。7。

结论

我将在讨论中得出结论,我最达成的讨论,由Pamela McCorduck达成协议:

是的,机器正在变得更聪明 - 我们努力实现这一目标。我同意Nick Bostrom,该过程必须呼吁我们自己最深刻的智力,以便我们享受真实的好处,而不会屈服于危险,这就像真实一样。锻炼智能机器应该的道德,或者不应该在脆弱的老人身上看,或者决定在战场上杀死谁 - 无论如何,不​​会通过快速思考,快速判断来解决。这将是一个缓慢的询问,呼吁伦理学家,法学家,计算机科学家,哲学家和许多其他人。与所有道德问题一样,立场将临时,发展,受修订。我很高兴地说,在过去的五年里,人工智能的进步协会已正式解决了这些道德问题,并有一系列面板,并正在进行努力的计划。正如博斯特罗姆所说,这是我世纪的基本任务。

更新:UC Berkeley的Stuart Russell现在增加了一个很好的回复到Edge.org谈话,回应了我上面制作的一些点。


  1. 我也可以反对在对话中进行的索赔和论据,例如Lanier声称“AI组件只会含有暧昧的情况,并且相对于执行器组件很重要]。”对我来说,这就是说人类因我们的执行器而统治这个星球,而不是因为我们的优越智慧。或者回应Kevin Kelly声称“据我所知,AIS尚未决定其人类创造者对其进行后悔的,”我可以指向自动交易算法近乎破旧的骑士资本快点比任何人都可以反应。但在这件作品中,我将重点关注似乎是对AI作为存在性风险所取得的积极案件的误解。
  2. 也就是说,除非它强烈信任代理商制定外部修改,并希望它可以做得更好地制作这些修改,而不是本身可以对人类来说,来自超人AI的观点。

你喜欢这篇文章吗?你可以享受我们的其他分析帖子,包括: