戴维斯AI能力和动机GydF4y2Ba

|GydF4y2Ba|GydF4y2Ba分析GydF4y2Ba

在一个GydF4y2Ba审查GydF4y2Ba超智GydF4y2Ba,NYU计算机科学家Ernest Davis声音与他归因于Nick Bostrom的许多索赔:“智能是一种潜在的无限数量,具有明确定义的一维值”,即超级智能AI可以“容易抵抗和倾斜联合努力为80亿人“,实现”虚拟万能“,”虽然实现智慧或多或少容易,但赋予计算机的道德观点真的很难。“GydF4y2Ba

这些都比博斯特罗姆的实际说法更有说服力。例如,博斯特罗姆从来没有把构建一个普遍智能的机器描述为“容易”。他也没有说智力可以是无限的,或者它可以产生“全能”。人类的智慧和积累的知识使我们比黑猩猩具有决定性的优势,尽管我们的力量在一些重要方面是有限的。为了拥有与人类同样的决定性优势,AI不需要具有魔力或全能。GydF4y2Ba

尽管如此,Davis的文章是我所见过的对MIRI核心假设的较为实质性的批评之一,他提出了几个与人工智能预测和策略直接相关的深层次问题。我将在这里简要回答他的观点。GydF4y2Ba

测量智力爆炸GydF4y2Ba

戴维斯写道,波斯特尔假设“智能的大增益必然需要相应地增加功率。”这再次过于强烈。(或者这是微不足道的,如果我们使用“智能”一词来挑选出特定的力量。)GydF4y2Ba

博斯特罗姆GydF4y2Ba是GydF4y2Ba对智能有潜力解决实际问题和塑造未来感兴趣。如果还有其他类型的智力,那么它们在经济和战略上的重要性大概不如博斯特罗姆在第6章中描述的“认知超级大国”。从安全的角度来看,自主机器所展示的潜在能量主要应该引起我们的关注,而“智能”似乎是最适合用来描述不依赖于个体体力或其环境特性的那种能量的术语。GydF4y2Ba

当谈到博斯特罗姆的智力爆炸论点时,我不认为“智力增加”GydF4y2Ba总是GydF4y2Ba产生相应的力量增加?'在问题的核心上得到了。考虑GydF4y2BaDavid Chalmers的观点GydF4y2Ba:GydF4y2Ba

[i] T并不是不合理的,因为我们可以创建具有更高的编程能力的系统,而具有更高的编程能力的系统将能够依次金宝博官方创建具有更大编程能力的系统。保持该规划能力与各种具体推理能力的增加也不是不合理的。如果是这样,我们应该期望缺席失败者,有关的推理能力将爆炸。GydF4y2Ba

在这里,“智能”没有明确的吸引力,它被编程能力加上任意大量的“具体推理能力”所取代。然而,如果有的话,我发现这个论点比Bostrom的制定更合理。出于这个原因,我同意Bostrom,即智能的一维表示是无数的,例如,可以将认知能力曲线代表在多维空间中的超出表面“(第273页)。GydF4y2Ba1GydF4y2Ba

此外,相关的问题不是是否提高了一个自我改进的AI的一般编程能力GydF4y2Ba总是GydF4y2Ba产生相应的提高其提高其自身的编程能力的能力。是不是那些能力的问题也不是问题GydF4y2Ba总是GydF4y2Ba与其他认知能力相关的博克托对(“战略,”“社会操纵”,“黑客”,“技术研究,”经济生产力“)。金宝博娱乐我表示,来自波斯特罗姆的观点来说,这五个核心问题是:GydF4y2Ba

  1. 第一个超级智能人工智能可能是由自我改进的人工智能系统产生的吗?金宝博官方GydF4y2Ba
  2. 如果是这样,人工智能的自我完善有多少可能是由有助于进一步提高该能力的某些认知能力(例如,编程能力)的改进所驱动的?GydF4y2Ba
  3. 随着早期的进步导致更快速的进步的连锁反应,这种自我改进能力的改进可能会加速吗?还是自我提升能力一再停滞不前,一蹴而就?GydF4y2Ba
  4. 如果很可能是自我提升瀑布,它们也可能导致我们更直接关心的其他认知能力的改善吗?GydF4y2Ba2GydF4y2Ba或者那些其他认知能力远远落后于“爆炸”的能力?GydF4y2Ba
  5. 如果像“编程”这样的能力可能会以加速方式自我加强,并且可能促进其他认知能力的加速改善,那些加速度的速度有多快?我们是否在谈论AI首次自我加强自我改进和实现过度理智之间的几十年的差距?几个月?小时?GydF4y2Ba

波斯列表对这些问题的立场 - 很快或中等的智力爆炸可能 - 在没有意义上,“智能”是一个明确定义的标量值,除了作为铰接各种定性可能性的玩具模型之外,除了玩具模型之外。当他写下微分方程时,Bostrom小心注意到智能不能是无限的,这是一维的是一种简化的假设,并且他的等式仅为“仅用于说明”。GydF4y2Ba3.GydF4y2Ba

我们应该期望人为普通情报(AGI)专门从事一些域名并忽视别人。Bostrom的自身的分析假设递归自我改善的AI将倾向于优先考虑电气工程等技能,如印象派绘画,也是平等的。GydF4y2Ba4.GydF4y2Ba就这点而言,如今的AI在某些认知任务(如象棋和心算)上已经是超人了,但在其他许多任务上却还不如人类。任何对“深蓝”或谷歌地图的“整体智力”进行量化的尝试都会掩盖这些系统的一些重要技能和缺陷。金宝博官方GydF4y2Ba5.GydF4y2Ba尽管如此,仍然使用“智力”或“权力”等概念来表达不精确的假设更好地取代精确的指标,这些指标夸大了我们目前了解的一般情报和AI的未来。GydF4y2Ba6.GydF4y2Ba

过度高度优势GydF4y2Ba

在GydF4y2Ba超智GydF4y2Ba(pp. 59-61), Bostrom列出了AGI可能在智能方面超过人类的各种方式,这是由于硬件(计算元素的速度和数量、内部通信速度、存储容量、可靠性、寿命和传感器)和软件(编辑性、可复制性、目标协调、内存共享和新模块)的不同,模式和算法)。Davis承认这些可能允许AGI优于人类,但对这可能使AGI比人类具有决定性优势表示怀疑。我们可以这样解释他的论点:GydF4y2Ba

大象更大的大脑并没有让它们比老鼠更聪明;松鼠的速度并没有给它们相对于海龟的决定性战略优势;我们也不知道是什么让爱因斯坦比乡村白痴更聪明,所以我们无法自信地预测从乡村白痴到爱因斯坦,或者从爱因斯坦到超级爱因斯坦有多容易。因此,没有特别的理由期望一个自我改进的AGI能够战胜人类。GydF4y2Ba

我的回答是,Bostrom的能力描述了“速度过度智能”,预测我们在大象和小鼠之间看到的空白比差距更大。Bostrom写道(在第270页的脚注中):GydF4y2Ba

与人性大脑相比至少有百万倍的加速,可以通过考虑与更有效的信息处理相比,考虑相关脑过程的速度和能量差异来看。光速大于神经变速器的速度大于一百万倍,突触尖峰耗散超过热力学的热量比热力学的热量更多,而且电流晶体管频率比神经元尖刺频率快得多百万倍。GydF4y2Ba

戴维斯对象“所有运行速度更快的东西是为了节省您的时间,”注意到较慢的系统最终可能最终执行更快的系统。金宝博官方但节省时间的能力正是博斯特罗姆担心的能力。即使有一个人怀疑集体或优质的高度的大量改善是可能的,“仅仅是”速度优势也会产生巨大的实际差异。GydF4y2Ba

想象一下,一个小社区的科学家AIS,他们对人类科学家的优势源于他们的硬件速度 - 他们可以将感官信息解释并评估假设和政策速度比人类快。在这种速度下,人工剂可以在一小时内〜115年的智力进展,一天〜2700多年的进步,在三个月内进行25万年的进步。GydF4y2Ba

这种加速的效果将会折射出人类的历史。需要几万年才能达到的科学和技术进步可能在周二到来。如果我们发送GydF4y2Ba人类GydF4y2Ba在过去的一千年里,他们拥有了他们想要的所有21世纪的知识和技术,可以想象他们可以在那个时期达到统治地位的财富和权力。这让我们有理由担心,造出的机器能比人类更快地积累数千年的经验,甚至在我们开始考虑在记忆力、合理性、可编辑性等方面的任何潜在优势之前。GydF4y2Ba7.GydF4y2Ba

至少一些由Bostrom看起来大于认知优势的级别的超智力的路线,Einstein在村庄白痴(或大象超过一只老鼠)。我们不能排除我们试图建立AGI时我们将遇到大于预期的障碍物,但我们不应该赌博的可能性。黑天鹅发生了,但超级智力ai是一个GydF4y2Ba白色GydF4y2Ba天鹅和白色天鹅也发生了。GydF4y2Ba

由于博斯特罗姆通往超级智能的途径与我们在哺乳动物身上观察到的神经差异没有太多共同点,因此没有特别的理由认为,比人类更聪明的人工智能和人类之间的差距,会类似于大象和老鼠之间的差距。博斯特罗姆的方法在生物学上也很难进化,这意味着它们在自然界的缺失并不能说明它们的可行性。GydF4y2Ba

我们甚至更少的原因期待,然后,高级AI和人类之间的差距将类似于爱因斯坦与中位数的差距。如果一代随机遗传重组可以产生爱因斯坦,人类(和人工)工程师的规划和设计能力应更大的可能性。GydF4y2Ba

将AI问题委托给AIGydF4y2Ba

另外,戴维斯使“发展成为当代人类的理解伦理理解,这实际上是AI的更容易问题之一”。再次,我会试图总结他的论点:GydF4y2Ba

道德看起来并不特别困难,特别是与例如计算机愿景相比。此外,如果我们要建立AGI,我们将要解决计算机愿景。即使道德和愿景一样艰难,为什么假设一个人将被解决,而不是另一个?GydF4y2Ba

在这里,我的回复是您可能不需要解决每个AI问题来构建AGI。例如,我们可以在愿景下欺骗愿景,通过任务为我们解决问题的盲人AGI。但是更容易观察算法是否正在解决视觉谜题的进展,而不是观察一个人是否正在进行进展GydF4y2Ba道德GydF4y2Ba问题是,在人类之间存在更多的理论和对象层面的分歧时,人工代理从部分解决方案转向完整解决方案的动机就更少,而失败并不一定会降低系统的能量。金宝博官方GydF4y2Ba

戴维斯注意到社会流利的超智线式需要成为专家的道德主义者:GydF4y2Ba

博斯特罗姆将AI称为“社交操纵超能力”。但如果AI要成为操控大师,它将需要很好地理解人们对道德的看法;如果它被认为是完全不道德的,它将在操纵人们方面处于非常不利的地位。如果人工智能能够理解人类的道德,那么很难看出让它遵循这种道德有什么技术难度。GydF4y2Ba

这类似于Richard Loosemore对AI安全研究的论点,我金宝博娱乐GydF4y2Ba在一篇博文中回应GydF4y2Ba。我的反对意见是,一个AI可以在没有由此成为道德的情况下来理解人的道德,就像人类可以明白没有由此的陌生人的动机一样GydF4y2Ba获取GydF4y2Ba那些动机。GydF4y2Ba

由于我们不了解我们的偏好,以足够的一般性或细节将它们转换为代码,因此能够将大部分此任务委派给超智意识将是很好的。但是,如果我们向我们致力于道德问题的答案,我们将如何知道它是否与我们诚实?为了信任AGI关于如何使其值得信赖的建议,我们需要已经解决了足够的问题,以便成为AGI一个可靠的顾问。GydF4y2Ba

以戴维斯的提议为例,我们可以想象通过编程来灌输进入AI的行为前列,以模拟Gandhi的偏好,并执行Gandhi想要它。But if we try to implement this idea in code before building seed AI, we’re stuck with our own fallible attempts to operationalize concepts like ‘Gandhi’ and ‘preference;’ and if we try to implement it after, recruiting the AI to solve the problem, we’ll need to have already instilled some easier-to-program safeguards into it. What makes AGI safety research novel and difficult is our lack of understanding of how to initiate this bootstrapping process with any confidence.

使用死者的价值学习的想法是有趣的。Bostrom在他说这对于价值学习至关重要时,Bostrom赞同这种方法的广义版本,即价值轨迹是“特定时间的对象”(第193页)。然而,这种方法可能仍然承认非明显的漏洞,并且我们仍然对我们直接实施而不追索到AGI可能过于复杂。如果是,则需要与解决方案配对GydF4y2Ba可订正GydF4y2Ba和GydF4y2Ba稳定GydF4y2Ba在自我修改的AI中,就像“关闭按钮”和其他Tripwire解决方案一样。GydF4y2Ba

从博斯特罗姆的角度来看,让高级人工智能成为游戏改变者的首要原因是它有能力对人工智能研究做出有意义的贡献。金宝博娱乐视觉问题可能是我们可以将复杂的AGI问题外包给AGI或特别先进的窄ai算法的许多领域之一。这是情报爆炸理论的基础,也是博斯特罗姆担心能力研究将继续领先于安全研究的基础。金宝博娱乐GydF4y2Ba

在自我改善的AI情景中,关键问题是AI突破是自动化高杠杆计算机科学任务的先决条件。这适用于能力研究,它还适用于安全研究。金宝博娱乐即使AI安全性比计算机愿景更容易到绝对意义上,它仍然是一个问题,这既不是建立自我改善AI的先决条件,也不能够安全地委托给这样的AI。GydF4y2Ba


  1. 相同参数的仍然可以更细粒度的版本。例如,“编程能力”可能会分解为多种能力,例如有效探索满足约束的代码的搜索空间以及有效地测试候选代码的能力。GydF4y2Ba↩GydF4y2Ba
  2. 例如:如果AI接近过度理智,在级联改进其编程能力时,其能力和决策标准也会导致重复改善其物理模块,或其心理模块?GydF4y2Ba↩GydF4y2Ba
  3. 例如,在第76页,博斯特罗姆写道:“这一特殊的增长轨迹在t = 18个月时有一个正奇点。在现实中,当系统开始接近信息处理的物理极限时,如果不是更早的话,这种抗拒是持续的假设将会停止。”金宝博官方在第77页,博斯特罗姆表示,他想要阐述的观点是,如果人工智能的进步主要是由人工智能驱动的,那么产生的反馈循环将产生更大的加速效应。GydF4y2Ba↩GydF4y2Ba
  4. 这是因为通过收购或资源以及基础设施的建设,这是一系列目标的各种最终目标,这是一系列的目标,这些目标比绘画技巧更有可能进一步。此参数是第7章中Bostrom的乐器融合论文的实例。GydF4y2Ba↩GydF4y2Ba
  5. 虽然事实证明,人类许多与智力相关的特征与一个容易测量的数字相关(GydF4y2BaGGydF4y2Ba),这仍然不允许我们对个人能力水平做出细粒度的预测。我也想不出有什么明显的理由指望一个数字能像GydF4y2BaGGydF4y2Ba特别是早期的AGI。Bostrom写道(第93页):GydF4y2Ba

    [S]假设我们可以以某种方式确定未来的人工智能将拥有6455的智商:然后呢?我们不知道这样的人工智能到底能做什么。我们甚至不知道这样的人工智能是否具有和普通成年人一样的一般智力——也许人工智能会有一堆特殊用途的算法,让它能够以超人的效率解决典型的智力测试问题,但除此之外就没多少了。GydF4y2Ba

    最近的一些努力已经发展了认知能力的测量,可以应用于更广泛的信息处理系统,包括人工智能。金宝博官方朝这个方向努力,如果能够克服各种技术困难,可能会对包括人工智能开发在内的一些科学目的非常有用。然而,就目前的研究目的而言,它的有用性是有限的,因为我们仍然不知道一个给定的超人表现分数意味着什么,它意味着在世界上取得实际重要成果的实际能力。GydF4y2Ba↩GydF4y2Ba

  6. 想象一下,一个生活在5000年前的苏美尔商人,就在书写发明后不久,他注意到了书写在储存方面的价值GydF4y2Ba好主意GydF4y2Ba随着时间的推移,不仅仅是市场交易。写作甚至可以让一个人把好的想法传递给你从未见过的人,比如未来的后代。商人注意到,他自己的成功往往涉及到收集别人的好主意,而好主意往往会打开通向其他人,甚至更好的主意的道路。坐在扶手椅上,他得出结论,如果写作变得足够流行,它将允许一个数量被称为GydF4y2Ba社会的知识水平GydF4y2Ba增加加速时尚;如果明智地使用知识,可能导致人类生活中前所未有的改善。GydF4y2Ba

    回顾过去,我们可以说“知识”是一个过于粗粒度的类别,无法实现任何精确的预测,而且确实有许多重要的突破可以被认为是不同意义上的“知识爆炸”。然而,这种极其不精确的预测仍能给我们带来比以前更好的预期。它比(历史上常见的)文明知识只会随着时间而减少的观点,事物将永远保持不变的观点,人类福利将因与知识积累无关的原因而急剧改善的观点,等等,迈进了一步。GydF4y2Ba

    这个类比的意义并不在于人们善于预测遥远的未来。相反,我的观点是像“社会知识水平”这样的波浪量GydF4y2Ba可以GydF4y2Ba对预测有用,还有GydF4y2Ba可以GydF4y2Ba即使数量和它所指代的现象之间的对应关系是不精确的,也要有充分的证据作为依据。GydF4y2Ba↩GydF4y2Ba

  7. 最明显的是,速度优势可以让AI有时间设计出更好的AI。GydF4y2Ba

    这一切都不是意味着我们可以对AI何时以及如何实现过度智能化的何时以及如何实现特定的高度自信预测。不是非常人类的AGI可能比特定任务的人类更慢,或者以难以预期的方式更快。如果某种科学突破要求首先构建巨大的粒子加速器,那么建立加速器所需的资源可能是比AGI的思维速度更重要的限制因素。在这种情况下,人类将更容易的时间监测和调节AGI的进步。我们不能排除速度过度智能化会面临大意外障碍的可能性,但我们也不应该赌博的可能性或将其视为理所当然。GydF4y2Ba↩GydF4y2Ba

你喜欢这篇文章吗?GydF4y2Ba你可以享受我们的另一个GydF4y2Ba分析GydF4y2Ba的帖子,包括:GydF4y2Ba