对Cegłowski对SuccorTelligence的回应

||分析

Web Developer MaciejCegłowski最近谈到了AI安全(视频文本),认为我们应该对解决这个问题的标准假设持怀疑态度,并对这些前提似乎导致的听起来极端的主张、态度和政策持双重怀疑态度。我将在下面的每一点给出我的答复。

First, a brief outline: this will mirror the structure of Cegłowski’s talk in that first I try to put forth my understanding of the broader implications of Cegłowski’s talk, then deal in detail with the inside-view arguments as to whether or not the core idea is right, then end by talking some about the structure of these discussions.

(i)更广泛的影响

Cegłowski的主要担忧似乎是,在短期内有很多滥用人工智能的方法,而担心长期的人工智能危害可能会分散工作的注意力短期滥用.他的第二个担忧似乎是,从外部角度看,担心人工智能风险似乎有问题。人类有悠久的传统千年人主义或者认为世界将在不久的将来转变的信念。从历史上看,大多数千年乃尔已经出错并表现出自我毁灭的方式。如果您认为UFOS将在不久将您带到天堂,您可能会产生一些短视的财务决策,并且当UFOS没有到达时,您充满了遗憾。

我认为,人们担心专注于长期的人工智能危险会分散对短期人工智能危险的注意力,这种担心是错误的。对一种危险的关注可能有助于吸引更多的注意力到其他相关种类的危险。此外,在短期内,与超能力人工智能系统相关的风险似乎比与现代人工智能系统相关的风险更困难和复杂,这表明长期障碍将金宝博官方需要更多的前置时间来解决。如果像一些乐观主义者所想的那样容易避免这些危险,那么及早行动就不会有什么损失;如果做起来很困难(但可行),那么起步晚就会损失很多。

关于外观的担忧,我质疑我们可以从专注的关注中了解外部现实人类心理学.有许多人认为他们可以出于一个原因可以飞行。但是,有些人实际上可以飞行,基于心理和历史的错误兄弟们赌注的人(而不是在这种情况下概括,物理和工程中的规律)将失去金钱。让那些赌注的最佳方式是涉及到杂乱的内部视图论点。

作为一个贝叶斯,我同意我们应该更新表面级证据,以至于一个想法是奇怪的或陨石的。但我也这么认为争论掩盖了权威提供的证据;if someone who looks vaguely like a crank can’t provide good arguments for why they expect UFOs to land in Greenland in the next hundred years, and someone else who looks vaguely like a crank can provide good arguments for why they expect AGI to be created in the next hundred years, then once I’ve heard their arguments I don’t need to put much weight on whether or not they initially looked like a crank. Surface appearances are genuinely useful, but only to a point. And even if we insist on reasoning based on surface appearances, I think those look pretty good.1

Cegłowski提出了11个内部观点和11个外部观点的批评,我将解释并解决:

(ii)内部视图论点

1。来自羊毛定义的论据

许多关于人工智能安全交易的观点都是基于定义技巧,即“A意味着B”和“B意味着C”这两个句子似乎都是显而易见的,这被用来论证一个不太明显的主张“A意味着C”;但事实上" B "在前两句中有两种不同的意思。

这对很多低级的未来主义是正确的,但我不知道有任何博斯特罗姆犯这个错误的例子。长期从事人工智能安全工作的最佳论据依赖于一些模糊的术语,因为我们对许多相关概念并没有很好的正式理解;但这和说论点建立在模棱两可的术语上是不同的。以我的经验来看,如果我们把“一般智力”这样的特定说法改述掉,辩论的实质实际上不会有太大改变。2

基本思想是人类大脑擅长解决各种认知问题,使我们擅长解决问题的能力通常在不同的问题类别中重叠。拥有更多工作记忆的人发现,这有助于几乎所有认知的要求苛刻的任务,而且再次迅速思考的人发现这有助于几乎所有认知的要求都有要求苛刻的任务。

提出更好的认知问题的解决方案也似乎对人际交际的冲突似乎严重重要,既暴力和非暴力则。由此,我并不意味着书籍学习将自动导致战斗中的胜利,3.但是,设计和瞄准步枪都是认知任务。谈到安全性时,我们已经看到了人们开发AI系统,以便以编程方式在程序中找到漏洞,以便它们可以修复。金宝博官方对黑帽的影响是显而易见的。

这里的人与计算机之间的核心区别似乎是将认知工作变成更多能力的回报,而不是人们的能力更高。人们可以学习事情,但能够提高他们学习事物的能力有限,或提高他们提高他们学习事物的能力等的能力,似乎软件和硬件改进都更容易获得更好的软件和硬件选项。

使用计算机芯片使更好的电脑芯片的循环比使用人们更好的人更令人印象深刻。我们只是从使用机器学习算法的循环开始,使更好的机器学习算法,但我们可以合理地期望成为另一个令人印象深刻的循环。

这里重要的是这个论点的具体移动部分,而不是我使用的术语。有些问题解决能力似乎比其他能力更普遍:在建造潜艇、粒子加速器和药物方面,任何让我们比老鼠更好的认知特征,一定是为了解决我们祖先环境中一系列非常不同的问题而进化的,当然也不依赖于大脑中海洋工程、粒子物理学和生物化学的不同模块。这些相对一般的能力在战略规划和技术创新等方面看起来很有用,而这反过来又有助于赢得冲突。机器大脑可能会有一些戏剧性的优势而不是生物大脑,部分原因是它们更容易重新设计(重新设计AI的任务本身可以委托给AI系统),而且更容易规模化。金宝博官方


2。斯蒂芬霍金的猫的论点

史蒂芬·霍金比猫聪明得多,但他并不擅长预测猫的行为,而且他的身体限制极大地削弱了他控制猫的能力。因此,超人AI系统(特别是如金宝博官方果它们是无实体的)在模拟或控制人类方面可能同样无效。

身体有多相关?人们可能会认为,机器人能够与俘获者战斗并徒步逃跑,而包含在服务器群中的软件智能将无法逃脱。

这对我来说似乎是不正确的,而非浅薄的原因。在现代经济中,互联网连接就足够了。One doesn’t need a body to place stock trades (as evidenced by the army of algorithmic traders that already exist), to sign up for an email account, to email subordinates, to hire freelancers (or even permanent employees), to convert speech to text or text to speech, to call someone on the phone, to acquire computational hardware on the cloud, or to copy over one’s source code. If an AI system needed to get its cat into a cat carrier, it could hire someone on TaskRabbit to do it like anyone else.


3.来自爱因斯坦猫的论点

爱因斯坦可能可能会腐蚀一只猫,但他大多通过使用他的体力,以及他平均人类的智力优势并不有帮助。这表明超人AI在实践中不会太强大。

如果您有时间设置一个操作时间表

但是,更相关的是,人类不是猫。我们更加社交和协作,我们经常基于推理的抽象思想和链条的行为。这使得可以更容易地说服(或雇用,勒索等)而不是说服猫,只使用语音或文本频道而没有身体威胁。这一切都不依赖于敏捷或肌肉的任何明显的方式。


4.争论来自鸸..

当澳大利亚军方在20世纪30年代试图大屠杀亚洲武士队开始时,鸸or overmanumumeume。同样,这表明超人AI系统不太可能能够与人类赢得冲突。金宝博官方

科幻小说常常描绘人类和机器之间的战争,双方都有机会获胜,因为这使得更好的戏剧。我认为xkcd能否更好地描述这一过程:



反复的相遇有利于更聪明和适应性强的一方;我们从用棍棒和猫来对付老鼠到用陷阱,毒药和节育来对付它们,如果我们不担心可能的下游影响,我们也许可以设计一种生物武器来杀死它们。4.


5.来自斯拉夫Pessismism的论证

“我们无法建立任何权利。我们甚至无法建立一个安全的网络摄像头。那么我们如何解决伦理和代表道德固定点的递归自我改善情报,而不是他妈的,在支持者争论的情况下我们只有一次机会?“

这是一个不尝试这样做的好理由。合理的AI安全路线图应设计为围绕“解决道德”或在第一次尝试时得到一切.这是找到制作高级AI系统的方法背后的想法金宝博官方追求有限的任务,而不是开放式目标,使这些系统符合符合额定,定金宝博官方义影响措施和建筑系统具有低影响力等“对齐先进ML系统金宝博官方“ 和耐堵塞代理设计主要是寻找获得智慧比人类AI的好处的方法,而无需完善。


6.来自复杂动机的论点

复杂的头脑可能具有复杂的动机;这可能是它甚至意味着聪明的一部分。

当讨论AI对齐时,这通常在两个地方显示出来。首先,人类价值观和动机是复杂的,这么简单的AI应该关心的建议可能不起作用。其次,AI系统可能有金宝博官方收敛乐器目标在美国,无论他们想完成什么项目,他们都会发现有一些共同的策略可以帮助他们完成项目。5.

一些收敛乐器策略可以在Omohundro的纸上找到基本的人工智能驱动器.高智商可能确实需要对世界如何运转以及什么样的策略可能有助于实现目标的复杂理解。但复杂性似乎并不需要渗透到目标本身的内容中;复杂系统有简单的总体目标,这一想法并没有不一致之处。金宝博官方如果有帮助,想象一个公司试图最大化它的净现值,一个简单的首要目标,却导致了许多复杂的组织和计划。

关于AI对准的一个核心技能能够可视化运行各种算法或执行各种策略的后果,而不会落入拟人。人们可以设计一个AI系统,使其总体目标随着时间金宝博官方和环境而变化,看起来人类经常使用这种方式。但具有复杂或不稳定的目标并不意味着你会有人道的目标简单而稳定的目标是也是完美的

例如:假设一个代理正在考虑两个计划,一个是写诗,另一个是建一个回形针工厂,它根据回形针生产的预期数量来评估这些计划(而不是激励人类的任何复杂事物)。那么,我们应该期待它会选择第二种方案,即使人类能够构造出一个详尽的口头论证来说明为什么第一种方案“更好”。


7.来自实际AI的论证

当前的AI系统是在大量金宝博官方数据上培训的相对简单的数学对象,而大多数用于改进的途径只需添加更多数据。这似乎并不像递归自我改善的配方。

这可能是真的,但“重要的是要开始思考比人类更聪明的人工智能系统带来的灾难”,这并不意味着“比人类更聪明的人工智能系统即将到来。”金宝博官方我们现在应该考虑这个问题,因为它很重要,因为有关技术金宝博娱乐我们今天可以做的是更好地处理它,不是因为我们对时间表有信心。

(另外,可能不是真的.)


8。来自Cegłowski的室友的论点

“我的室友是我一生中遇到的最聪明的人。他非常聪明,他所做的就是躺着玩魔兽世界之间bong撕裂。”先进的人工智能系统可能同金宝博官方样没有雄心壮志。

人类不是最大化的人。这表明我们可以设计先进的AI系统来追求有限的任务,从而避免灾难谈论的灾难。金宝博官方然而,如果获得额外的安全增量意味着交易一些年度利润或落后于竞争对手,则立即利润激励措施可能不会导致我们的方向导致我们。如果我们想以这种方向转向该领域,我们需要实际开始更好地正式化“有限的任务”。

明显的利润激励措施对于开发系统,可以更快,可靠,金宝博官方巧妙,有效地解决更广泛的实际问题;发展完美的系统没有相应的激励措施金宝博官方魔兽世界什么都不做。

或者另一种方式:默认情况下,AI系统不太可能具有有限的野心金宝博官方,因为最大化比懒惰更容易指定。注意游戏理论,经济学和AI如何源于描述一个试图最大化一些实用功能的代理的数学形式主义。如果我们希望使用“有限的野心金宝博官方”的AI系统,这还不足以说“也许他们会有有限的抱负;”我们必须开始探索如何实际使它们。有关此主题的更多信息,请参阅“低影响”问题“人工智能安全的具体问题及其他相关文件。


9。脑外手术的论证

人类不能在本身的内容中操作,这在神经外科擅长,然后迭代这个过程。

人类不能做到这一点,但这是人类和人工智能系统明显不同的地方之一!金宝博官方如果人类发现了一种更好的制造神经元或线粒体的方法,他们可能无法将其用于自己。如果一个人工智能系金宝博官方统发现,它可以使用位移位而不是乘法来更快地进行神经网络计算,它可以将补丁推送给自己,重新启动,然后开始更好地工作。或者它可以复制源代码来快速构建一个“子”代理。6.

似乎许多AI改进都将以这种方式进行。如果AI系统设计了金宝博官方更快的硬件,或者只是获得了更多的硬件,那么它就能够更快地解决更大的问题。如果人工智能系统对金宝博官方其基本学习算法进行改进,那么它将能够更快地学习新领域。7.


10。童年的论点

在人类儿童成为聪明的人之前,他们需要花很长时间与世界和他人交流。目前还不清楚人工智能能以多快的速度发展。

项目管理中的一种真正主义是一个月内没有一个婴儿在一个月内没有一个婴儿,但这种特殊将适用于机器学习系统。金宝博官方alphago似乎是一个重要的例子:它可能扮演了许多训练游戏,因为李塞多尔在比赛之前做了,但大约两岁而不是33岁。

有时,人工系统可以使用人类无法使用的工具。金宝博官方你可能无法仅仅通过看一个人的脸并将注意力限制在特定的颜色通道上来判断他的心率,但带有网络摄像头的软件可以。你可能不能在脑子里求10个矩阵的秩,但是有内存的软件可以。

在这里,我们正在谈论更像是一个令人惊讶的老人和经历的人。考虑,例如,一位老医生;假设他们在二十年内每天见过二十名患者。这效果达到了10万人的访问,这似乎大致与英国NHS在3.6小时内互动的人数。如果我们在一年的数量的NHS数据上培训机器学习医生系统,那将相当于五万年的医金宝博官方学经验,所有人都在一年的过程中获得。


11.论证吉利根岛

虽然我们经常将智力视为个人思想的财产,但文明的权力来自聚集智力和经验。单身工作的单一天才不能做得很多。

这似乎逆转。数字系统的特性之一是,它们可以比人类更快、更无缝地相互集成。金宝博官方不要将服务器农场AI视为一个巨大的爱因斯坦,而应将其视为每个刀片上的爱因斯坦,这样一个机架就可以包含多个共同工作的爱因斯坦村庄。没有必要在招聘或人才匮乏期间经历费力的审查过程;扩展以填充更多的硬件只是复制代码。

如果我们考虑到一个爱因斯坦有洞察或学习新技能的事实,这可以迅速传送到所有其他节点,这使得这些Einsteins可以在获得新的计算能力时旋转全面训练的叉子,and the fact that the Einsteins can use all of humanity’s accumulated knowledge as a starting point, the server farm begins to sound rather formidable.

(iii)外观争论

接下来,外观的论点 - 与“如果你认真地服用过度智能化,...”应该以“非常重要”为前缀的摘要 -


12.论证浮夸

......真正大量的价值是有利害的。

它的令人惊讶的,由哥白尼原则,我们的时间看起来像它一样关键。但是,虽然我们应该在枢轴时间之前开始低于生活的较低,但我们知道以前存在枢轴时间,8.如果我们看到足够的证据指向这个方向,我们最终应该能够相信我们生活在一个重要的时代。


13.来自Megalomania的论点

大量的权力都岌岌可危

从长远来看,我们显然应该试图用AI作为一种杠杆来改善众生的福利,以便在技术上是可行的。As suggested by the “we aren’t going to solve all of ethics in one go” point, it would be very bad if the developers of advanced AI systems were overconfident or overambitious in what tasks they gave the first smarter-than-human AI systems. Starting with适度,非开放的目标是一个好主意——不是因为发出谦逊的信号很重要,而是因为适度的目标可能更容易实现(出错的危险更小)。


14.来自Transhuman Voodoo的论点

......很多其他奇怪的信念立即关注。

信仰通常是群集,因为它们是由类似潜在的原则驱动,但它们仍然是不同的信仰。它当然可以相信AI对准是重要的,也是银河系的膨胀大多是一种无利可图的浪费,或者相信AI对准是重要的,并且分子纳米技术也是不可行的。

也就是说,当我们看到一项技术的主要障碍是认知工作时,似乎有理由认为人工智能的发展轨迹将对该技术产生重大影响。如果你是在科学方法的早期,或者工业革命的初期写作,那么一个准确的世界模型将要求你至少做出一些听起来极端的预测。我们可以讨论人工智能是否会有那么大的影响,但如果它真的有那么大的影响,那么没有任何极端的未来影响将是奇怪的。


15.来自宗教的论点2.0

你会加入某种宗教。

人们有偏见,我们应该担心可能发挥偏见的想法;但我们不能使用偏见的存在来忽略所有对象级别的考虑并到达自信的技术预测。正如俗话所说,只是因为你是偏执并不意味着他们并没有出去给你。医学和宗教都承诺治愈病人,但医学科学实际上可以做到。从宗教中区分医学科学,你必须看看参数和结果。


16.来自漫画伦理的论证

你最终会有英雄情结。

我们希望在研究这些问题的研究界的份额较大,因此成功的几率上升金宝博娱乐 - 重要的是,AI系统是以负责任和谨慎的方式制定的,而不是谁获得促进发展的信誉。金宝博官方如果你现在开始在这个问题上开始工作,你可能会结束英雄群,但运气,十年来,它只感觉像正常的研究一样(尽管有一些特别重要的问题)。金宝博娱乐


17.仿真发烧的论点

你就会认为我们可能是生活在一个模拟环境中,而不是基本现实中。

我个人觉得这个模拟假设非常可疑,因为我们的宇宙看起来既有时间边界,又在时空上连续或接近连续。如果我们的宇宙看起来更像《我的世界》,那么这看起来更有可能。(似乎前者不能很容易地模拟自身,而后者可以,但要放慢速度。“RAM约束”可能是核心的反对意见。)无论是哪种情况,我都不认为这是一个支持或反对人工智能安全工程领域的好理由。9.


18。来自数据饥饿的论点

......你要抓住每个人的数据。

这似乎与AI对齐无关。是的,构建人工智能系统的人们希望数据能够训练他们金宝博官方的系统,而弄清楚如何以道德而不是快速的方式获取数据应该是优先考虑的问题。但是,一个人对是否有一天会出现比人类更聪明的人工智能系统的看法会发生怎样的转变?为了使自己的偏好与我们的一致,需要做多少工作?金宝博官方


19。来自程序员的弦理论的论证

你会脱离现实进入抽象思维。

事实上,难以测试高级AI系统的预测是一个巨大的问题;金宝博官方至少,Miri基地基地围绕试图降低我们最终在天空中建金宝博娱乐造城堡的风险。这是追求问题的多个攻击角度的一部分,鼓励场上的更多多样性,专注于承担各种可能的系统的问题,并优先考虑正规化和半形系统要求的形式化。金宝博官方10.引用以利以谢Yudkowsky

结晶思想和政策,因此其他人可以批评它们。这是询问的另一个点,“我如何使用无限的计算能力?”如果你有点挥手并说:“好吧,也许我们可以应用这款机器学习算法和那种机器学习算法,结果将是Blah-Blahblah,”没有人可以说服你错了。当您使用无限的计算能力时,您可以让这些想法足够简单,人们可以将它们放在白板上并“错误”,“错误”,你别无选择,只能同意。这是不愉快的,但这是该领域取得进展的方法之一。

看到“Miri的方法“有关无限分析方法的更多信息。这Amodei / Olah Ai安全议程使用其他启发式,专注于在现有和近期系统中更容易解决的开放问题,但仍然看起来可能与缩放系统有关。金宝博官方


20.激励疯狂的论点

......你会鼓励自己和他人的疯狂。

更疯狂的想法可能会成为更多的头条新闻,但我觉得它们不会吸引更多的研究人才或资金。金宝博娱乐尼克·博斯特罗姆的观点通常比雷·库兹韦尔的更理性,相应地,研究界对博斯特罗姆的观点和进行相关的技术研究更感兴趣。金宝博娱乐无论你是否同意Bostrom的观点,或认为该领域作为一个整体正在做有益的工作,这表明相对重要和有思想的想法正在吸引这一领域的研究团队更多的关注。金宝博娱乐


21。来自AI cosplay的论证

你就更有可能操纵他人并夺取权力。

我想我们都同意把人当卒子对待的危险,不道德地表现出更多的善良那etc. It’s not clear to me that people interested in AI alignment are atypical on this dimension relative to other programmers, engineers, mathematicians, etc. And as with other outside-view critiques, this shouldn’t represent much of an update about how important AI safety research is; you wouldn’t want to decide how many research dollars to commit to nuclear security and containment based primarily on how impressed you were with Leó Szilárd’s temperament.11.


22。炼金术师的论点

......在我们理解智能真正有效的情况下,你将很快表演。

虽然未来不可避免地会有惊喜,关于如何发生、发生了什么以及为什么发生,但似乎有些事情我们可以认定是无关紧要的。例如,意识的奥秘似乎与解决问题的奥秘是正交的。可能使用一个解决问题的过程本身就是意识是什么,但也有可能,我们可以做一个人工智能系统,可以灵活地实现其目标没有理解是什么让我们清醒,并没有有意识的过程中。金宝博官方

(iv)生产性讨论

现在我已经涵盖了这些点,有一些空间讨论如何展示富有成效的讨论工作。为此,我赞扬Cegłowski做好铺设了Bostrom的完整论点,尽管我认为他错过了一些小点。(例如,Bostrom并未声称所有一般智能都希望自我改善,以便更好地实现目标;他只是声称这是一个有用的子群,如果可行的话。)

我们可以依赖于实验和观察的问题,以达到正确的结论,以及我们需要更依赖于争论和理论的其他问题。例如,在建造沙堡时,测试假设的成本低;但是在设计飞机时,全面的经验测试更昂贵,部分原因是测试飞行员在足够糟糕的设计中将死亡的实际机会。存在的风险在该频谱的极端结束时,我们必须特别依赖于抽象的论点(但当然我们仍然可以通过测试可测试的预测来获得)。

有用的口头论证的关键属性,当我们被迫依赖它们时,它们更可能在结论为真的世界里,而不是结论为假的世界里起作用。我们可以用人身攻击来对付一个说“2+2=4”的小丑,就像一个说“2+2=5”的小丑一样容易,而“你所说的意味着0=1”的论点只对第二个小丑有用。“0=1”是对“2+2=5”的一个有用的反驳,因为它直接指向一个特定的缺陷(两边同时减去2,你就会得到一个矛盾),还因为它对真理的说服力远不如对谬误的说服力。

这让我对外界观点产生怀疑,因为他们太容易达到了正确的非典型观点.假设诺曼。博洛格已经预测,他会节省十亿个生命,这在外面的观点上被拒绝 - 毕竟,很少有人(如果有的话)可以在所有历史上可靠地索取相同的人。那个论点是区分Borlaug和任何其他人之间的呢?当实验便宜时,可预测地想念每一个“首先”是可以接受的,但是当实验不便宜时,这成为致命的缺陷。

只要我们的目标是帮助彼此有更准确的信念,我也认为我们努力识别相互“围栏”是很重要的。对于任何特定的分歧,您认为的世界是否有任何命题,我认为我认为是错误的,如果你改变主意,那么你会向我的观点来临,反之亦然吗?

通过寻求这些曲折,我们可以更仔细地仔细地寻求最重要的问题的证据和论据,而不是在侧面问题中迷失。在我的情况下,如果我停止相信任何以下命题(其中一些您可能已经同意的人),我会更加同情你的论点:

  1. 代理价值观和能力水平正交,使得可以在不生长的情况下在不断增长的情况下增长。
  2. 其他条件不变,更多的计算能力导致更多的电力。
  3. 更具体地说,更多的计算能力可以帮助自我完善,这可以导致一个积极的反馈循环,在接近几周的时间里翻倍,而不是几年。
  4. 有很强的经济激励措施创建(大约)最大化其分配的客观函数的自主代理。
  5. Our capacities for empathy, moral reasoning, and restraint rely to some extent on specialized features of our brain that aren’t indispensable for general-purpose problem-solving, such that it would be a simpler engineering challenge to build a general problem solver without empathy than with empathy.12.

这显然不是一个详尽的列表,我们需要更长的来回讨论,才能得出一个双方都同意的至关重要的列表。



  1. 作为例子,请看,例如,斯图尔特罗素(伯克利),弗朗西斯卡罗西(IBM),Shane Legg.(谷歌深度),Eric Horvitz(微软),巴特·塞尔曼说(康奈尔大学),伊利亚·斯图克瓦(OpenAI),安德鲁•戴维森(伦敦帝国理工学院),David Mcallester.(TTIC),尤尔根•施密水(Idsia),和杰弗里丁顿(多伦多大学)。
  2. 智慧是什么?更多关于这个想法和模糊术语的一般。
  3. “没有命题欧几里德写道,/没有公式教科书知道,/将从你的外套上旋转子弹,/或杜瓦的向下打击”。
  4. 想想另一种害虫:蚊子。有人可能会指出蚊子的继续存在作为证据,证明卓越的智力不是蚊子的速度和飞行,或它们为每个雌性产卵成千上万的能力的对手。不过,我们最近开发出了释放转基因蚊子的能力,这种蚊子有可能导致某个物种灭绝。该方法是给雄性蚊子一种基因,让它们只能生儿子,而男孩也会有这种基因,也只能生儿子,直到最终雌性蚊子的数量太少,无法支撑整个蚊子种群。

    人类对其他物种的主导并不完美,但似乎确实在积累了更多知识和开发新技术时确实迅速增长。这表明,在科学研究和工程方面有些不太擅长的东西可能会更快地增加主导地位,并且达到更高的绝对优势。金宝博娱乐人类冲突的历史提供了丰富的数据,即使技术能力的差异也可以对另一组人类提供决定性的优势。

  5. 例如,对于几乎所有目标,您可以预测您在您继续经营的世界中可以实现更多的目标,而不是在您停止运营的世界中。这自然意味着您应该尝试阻止人们关闭您,即使您没有任何自我保存目标而无法编程 - 保持在线就是有用的。
  6. 其中一个挑战人工智能对齐研究的关键是找出如何金宝博娱乐在不改变你认为重要的东西的情况下做到这一点。
  7. 硬件和软件改进只能让您到目前为止 - 宇宙中的所有计算都不足以通过蛮力破解2048位RSA键。但人类的聪明才智并没有来自我们快速因素大量的能力,并且有很多理由相信我们正在运行的算法将会扩展
  8. 罗宾·汉森对动物思想的演变,人类的演变,农业发明,工业主义为四个以前的工业主义。智力劳动的自动化似乎是下一个强大的竞争者。
  9. 我也不同意“但是如果你相信这个,你就相信了魔法。”因为如果我们是在模拟中,我们便不知道上面关卡中的规则。我们甚至不知道数学是否也是如此——也许在模拟世界中2+2=5,或者2+2=?”这低估了数学的普遍性。我们可能不知道任何模拟我们的宇宙的物理定律是如何与我们自己的联系起来的,但数学并不是由可能因宇宙而不同的物理事实所确定的。
  10. 而不是坚持纯粹的非正式猜测,或在我们相信它捕捉到非正式要求之前,钻探非常具体的正式框架。
  11. 由于Cegłowski赞同写作Stanislaw Lem的写作,我将抛出LEM的报价调查,1959年发布:

    一旦他们开始升级他们的努力,双方都被困在军备竞赛中。武器必须越来越有改善,但在某种点武器达到其极限之后。接下来可以改进什么?大脑。发出命令的大脑。不可能使人类的大脑完美,因此唯一的替代方案是对机械化的过渡。下一阶段将是一个全自动的总部,配备电子策略机器。然后出现了一个非常有趣的问题,实际上是两个问题。麦卡特称之为我的注意。首先,这些大脑的发展有任何限制吗? Fundamentally they’re similar to computers that can play chess. A computer that anticipates an opponent’s strategy ten moves in advance will always defeat a computer that can think only eight or nine moves in advance. The more far-reaching a brain’s ability to think ahead, the bigger the brain must be. That’s one.”
    ......
    “战略考虑决定了更大和更大的机器的构建,以及我们是否喜欢与否,这不可避免地意味着储存在大脑中的信息量增加。这反过来意味着大脑将稳步增加其对社会所有集体流程的控制。大脑将决定找到臭名昭着按钮的位置。或者是否改变步兵制服的风格。或者是否增加生产某种钢铁的生产,要求拨动拨款以进行其目的。一旦你创造这种大脑,你必须听取它。如果议会废弃时间辩论是否或不授予其要求的拨款,另一方可能会获得领导,所以在一段时间之后,虽然取消议会决定变得不可避免。对大脑决定的人类对照将与其积累知识的增加比例下降。我很清楚吗?将有两个生长的大脑,每侧在海洋。 What do you think a brain like this will demand first when it’s ready to take the next step in the perceptual race?”
    “能力的提高。”
    ......
    “不,它首先要自己扩张——就是说,它的脑子要变得更大!接下来是提高能力。”
    “换句话说,你预测世界将最终成为一个棋盘,我们所有人都将被两名机械球员在永恒游戏中操纵的典当。”

    这并不意味着莱姆会支持这一立场,但确实表明他考虑过这类问题。

  12. 镜像神经元例如,对于人类的励志系统和社会推理可能对非必要的高能力AI系统的社会推理至关重要。金宝博官方

你喜欢这篇文章吗?你可以享受我们的另一个分析的帖子,包括: