尼克·博斯特罗姆(Nick Bostrom)对人工智能未来的担忧引发了公众的热烈讨论。他的观点得到了领先人工智能研究人员的赞同金宝博娱乐斯图尔特罗素在“超出超级机床的自满(与斯蒂芬·霍金、马克斯·泰格马克和弗兰克·维尔切克合著)，许多记者、科学家和技术人员随后也加入了进来。考虑到这个话题的复杂性，我对大多数报道(有些)的积极和周到感到惊讶过度使用陈词滥调在旁边）。
不幸的是，大多数人可能带走这些文章是'斯蒂芬霍金认为AI是可怕的！'，而不是推理的链条，即将抱怨，拉塞尔或其他人的意见。当埃龙麝香钟声随着他自己的担忧和引用博克斯特罗姆的书超明：路径，危险，策略，评论者似乎对立即呼应或解除麝香的担忧更感兴趣，而不是看着他的来源。
最终的结果更像是对人们对“AI”这个词的正面或负面联想的公投，而不是对博斯特罗姆实质性主张的辩论。如果“人工智能”让你想起了科幻小说中的反乌托邦，那么诱惑就是把真正的人工智能研究人员塞进你“准备释放邪恶机器人军队的疯狂科学家”的刻板印象中。金宝博娱乐同样，如果“人工智能”让人想起日常工作中对边缘检测算法的测试，那么迫使新数据进入旧模式的冲动，也会让人忍不住把博斯特伦和霍金塞进“naïve担心邪恶机器人起义的技术恐惧者”的刻板印象中。
因此，机器人罗德尼布鲁克斯的最近博客文章“人工智能是一种工具，而不是威胁“一份关于AI的最前沿的常见神话，以及哲学家John Searle的常见故事审查超明在我们的主观性和思想概念中阐述了一些重要的歧义;但两个作家几乎没有与波斯特罗马（或罗素或霍金的）想法相交。将Bostrom均为最近的“邪恶机器人恐慌”刻板印象，并停在那里。
布鲁克斯和塞尔不明白这些争论有多新超明是。In the interest of making it easier to engage with these important topics, and less appealing to force the relevant technical and strategic questions into the model of decades-old debates, I’ll address three of the largest misunderstandings one might come away with after seeing Musk, Searle, Brooks, and others’ public comments: conflating present and future AI risks, conflating risk severity with risk imminence, and conflating risk from autonomous algorithmic decision-making with risk from human-style antisocial dispositions.
误解＃1：担心AGI意味着担心狭窄的AI
本辩论中的一些误解可以归咎于不良术语。通过'AI，该领域金宝博娱乐的研究人员通常意味着在机器学习，机器人，语音识别等中使用的一系列技术。'AI'也作为“人工的”的缩写被随意丢弃一般AGI或“人类水平的人工智能”。“密切关注可能导致AGI的技术并不等同于密切关注人工智能，人工智能研究人员发现后者的提议令人困惑也就不足为奇了。”金宝博娱乐(大多数研究人员都是间接地听到这些观点，他们不知道人工金宝博娱乐智能和技术预测领域的专家也在提出与霍金相同的观点——或者没有遇到过这种观点——这对他们没有帮助参数为了展望AGI安全，只是丝身叠标题和推文。）
布鲁克斯认为，这种术语混乱背后是对人们呼吁AGI安全研究的实证混淆。金宝博娱乐他认为，人们对“邪恶AI”的担忧必须基于令人误认为是狭窄的AI有多强大的误认为，它对一般情报的进展有多大：
我认为担心源于根本误差，而不是区分AI特定方面的真实近期进步之间的差异，以及建立感知情报的巨大和复杂性。
思考的一个好理由是博塞尔姆是董事人文研究所的未来(FHI)是牛津大学的一个研究中心金宝博娱乐，它研究的是我们可能在几个世纪内看到的最大的技术趋势和挑战。像博斯特罗姆这样的未来学家正在寻找早期投资项目的方法，这些项目将带来重大的长期红利——防范灾难性的自然灾害，发展太空殖民能力，等等。如果博斯特罗姆得知一项至关重要的技术还要50年甚至更长时间才能实现，那么突然不再关心这项技术就完全不符合他的性格了。
当一群人正在热烈讨论核扩散，全球生物安全，以及人类的安全宇宙养老金当你与那些正在积极讨论彻底改变房屋清洁和设计更能适应环境的智能手机应用的群体发生冲突时，一定程度的推理距离(更不用说对情绪的影响了)是不可避免的。这让我想起了“但是外面在下雪!”这句话是对那些担心气候变化会造成大规模人类损失的人的反驳。这并不是说当地天气不重要，或者它与长期气候变暖趋势完全无关;而是话题突然变了。1
我们应该更加谨慎地区分这两个感官'ai。'我们可能无法恰好理解AGI定义但我们至少可以花点时间来澄清讨论的主题:没人会问roombas和chatterbots的阴谋是否能统治世界。
当机器人攻击!（来源：XKCD.）
误解＃2：担心AGI意味着相信它就在附近
一些未来主义者，从雷库尔兹威尔宣称技术进步不可避免地遵循摩尔人的指数轨迹，对其进行了一些非常自信的预测agi.时间线．Kurzweil本人认为，我们可以预期在大约15年内产生人类的AI，其次是SuperIntelligent Ai之后。2Brooks回应说，设计AGI的能力可能远远落后于运行AGI所需的计算能力:
作为比较，考虑我们已经拥有过100年的飞行机。但是，只有最近，像MIT CSAIL这样的人士才能让他们落在一个分支机构上，这是一个至少每个微秒的鸟类所做的东西。这只是摩尔定的法律，使这可以开始发生吗？并不真地。通过对等式的数学认识，它是通过数学认识来解决方程和失速等的等式和问题。Moore的法律帮助Matlab和其他工具帮助，但它并没有简单地倾注在飞行中的计算并使其神奇地变换。它已经花了很长时间。
期待更多的计算只是神奇地达到故意智慧，了解世界的同样不太可能。3.
这是一个完全正确的点。然而，Bostrom的观点是掀起最近公开辩论的观点，并且Bostrom不是Kurzweilian。It may be that Brooks is running off of the assumption ‘if you say AGI safety is an urgent issue, you must think that AGI is imminent,’ in combination with ‘if you think AGI is imminent, you must have bought into Kurzweil’s claims.’ Searle, in spite of having read超明，给出了类似的结论:
尼克博斯特罗姆的书，超明警告即将到来的天启。我们很快将有智能电脑，电脑作为我们所智能的计算机，并且他们将跟随超级智力电脑，更加聪明，很可能会升起并摧毁我们所有人。
如果读者从“迫在眉睫”和“很快”这类语言中了解到，Bostrom异乎寻常地相信AGI会提前到来，或者Bostrom相信我们会在本世纪建立一个通用的人工智能，那么他们就会完全颠倒过来了。
根据一项2013年调查大多数引用作者的人工智能,人工智能专家预计能够“执行大多数人类职业至少还有一个典型的人”以10%的概率(中位数)2024年,概率为50%,到2050年,并在2070年以90%的概率,假设不间断的科学进步。博斯特罗姆是较少的相信AGI将很快到达：
我自己的观点是，专家调查中报告的中位数在延迟到达日期方面没有足够的概率质量。HLMI(人类水平的机器智能)到2075年甚至2100年还没有开发出来的概率(在条件化“人类科学活动不受重大负面干扰而继续进行”之后)似乎太低了。
从历史上看，AI研究人员没有强大的金宝博娱乐记录能够预测自己的领域的进步或这种进步所采取的形状。一方面，一些任务，如国际象棋比赛，原本可以通过令人惊讶的简单计划来实现;声称机器将“从不”的反对者能够做到这一点或者反复被证明是错误的。另一方面，从业者之间的典型错误是低估了获得系统在真实的任务中强大执行的困难，并高估自己特定的PET项目或技术的优势。金宝博官方
博塞尔姆做认为，在第一个AGI之后，SuperIntelligent Ai可能很快就会出现智能爆炸．一旦AI能够在计算机科学等领域的高质量科学推断和规划，Bostrom预测进一步改善AI的过程将变得越来越自动化。硅工程比人类程序员更便宜，更快，可以提高自己的规划和科学能力效率的计划可以在击中自我改善中减少的边际回报之前显着地在科学和决策任务中超越人类。
然而，我们将如何创建AGI的问题与此后的问题不同，此后AGI将系统地优于人类。金宝博官方类似地，您可以认为量子计算机的到达将迅速彻底彻底改变网络安全，而无需断言量子计算机即将来临。未能解开这两个论文可能是围绕波斯特罗姆的观点混淆的一个原因。4
如果是FHI的董事（与Miri主任一起）相对持怀疑态度，我们会很快看到AGI - 尽管比布鲁克斯更持怀疑态度，但他认为我们现在应该提请注意这个问题吗？一个原因是可靠的AGI可能比AGI更难以建立。如果我们也了解到，那就没有太好的安慰安全美国国际集团是250.年时间。在现有的信息物理系统中，安全通常滞后于能力。金宝博官方5如果我们希望在我们有AGI的时间扭转这一趋势，我们可能需要一个大头开始。米里金宝博娱乐研究指南总结了关于这个问题的一些积极的技术工作。类似的进步勘探工程已经证明在准备后量子密码学和隐蔽频道通信．
优先考虑AGI安全研究的第二个原因是，当AGI将开发时，有大量的不确定性。金宝博娱乐它可能比我们期望的那样更快，最终会更好地了解一个系统金宝博官方也比那些不够安全的更安全。
布鲁克斯认识到AI预测往往是狂野不可靠的，但他似乎也相信，通用AI是多个世纪以来的（并且这使得AGI安全成为非问题）：
只是如何开放时间尺度的问题，因为我们将拥有人类级别的人，这是一份机器智能研究所的斯图尔特阿姆斯特朗和Kaj Sotala的一份报告，这是一个本身拥有研究人员担心邪恶艾的组织。金宝博娱乐但在这个更清醒的报告中，作者分析了1950年间的95个预测，当时人类级别会发生时，现在就在现行。他们表明，专家和非专家的预测之间没有区别。他们还表明，在那60年的时间框架上，有一个强烈的偏见，朝着从预测的预测到15到25年之间的人类水平Ai到达。对我来说，没有人知道，他们只是猜测，历史上，到目前为止，大多数预测都是完全错误的！
我说放松每个人。如果我们幸运的是，我们将在未来三十年中拥有蜥蜴的意图，并且使用该AI的机器人将是有用的工具。
当AGI到达时，我们不知道！放松！其中一位作者布鲁克斯引用，Kaj Sotala，6在博客中指出这个奇数并置：
I do find it slightly curious to note that you first state that nobody knows when we’ll have AI and that everyone’s just guessing, and then in the very next paragraph, you make a very confident statement about human-level AI (HLAI) being so far away as to not be worth worrying about. To me, our paper suggests that the reasonable conclusion to draw is “maybe HLAI will happen soon, or maybe it will happen a long time from now – nobody really knows for sure, so we shouldn’t be too confident in our predictions in either direction”.
自信的悲观主义关于技术的可行性可以像误认为是相信的乐观主义一样。扭转不可靠的预测因子的索赔不一定能得到可靠的预测。一个生活在1850年的有科学素养的人可以观察到比空气重的飞行失败的漫长历史和预测，并且有理由怀疑60年内我们会有这样的机器。另一方面(尽管我们应该警惕。后视偏见在这里),它可能不会have been reasonable at the time to confidently conclude that heavier-than-air flight was ‘centuries away.’ There may not have been good reason to expect the Wright brothers’ success, but ignorance about how one might achieve something is not the same as positive knowledge that it’s effectively unachievable.
一个人需要非常好的模型来预测它是50年，100年，还是500年以后。同样，我们需要在相当复杂的水平上理解AGI，以便有信心地预测它将在更接近2500年而不是2100年的时候被发明出来。对于事件何时发生的极度不确定性并不能成为认为事情还很遥远的理由。
这不是思维AGI迫在眉睫的论点。这种预测也需要我们要求更多的知识而不是我们拥有。It’s entirely possible that we’re in the position of someone anticipating the Wright brothers from 1750, rather than from 1850. We should be able to have a sober discussion about each of these possibilities independently, rather than collapsing ‘is AGI an important risk?’, ‘is AI a valuable tool?’, and ‘is AI likely to produce AGI by the year such-and-such?’ into one black-and-white dilemma.
误解＃3：担心AGI意味着担心“恶意”AI
布鲁克斯认为，即将成为一个“工具”，而不是即将到来的几个世纪的“威胁”，理由是，技术上是不可能使AIS人类变得足够的“恶意”或“故意邪恶”。这一含义是，除非这是残忍或可恶的，否则AGI不危险，因此危险的AI必须是“感知”，“无知”和“故意”。Searle在他的评论中沿着这些行提出了明确的论点超明：
[I]我们担心一个恶意激励的超智摧毁我们，那么重要的是恶意动力应该是真实的。没有意识，没有可能是真实的。[...]
这就是为什么超级智力电脑的前景升起和杀死我们，全部是一个真正的危险。这些实体有，从字面上说话，没有智力，没有动机，没有自主，没有机构。我们设计他们表现得好像他们有某种心理学，但相应的流程或行为没有心理现实。
很容易想象，机器人被有意识的思维编程，杀死眼前所有可识别的人类。但是，超级智能计算机基于它们自己的信念、欲望和其他动机，故意来摧毁我们的想法是不现实的，因为机器没有信念、欲望和动机。
布鲁克斯比Searle令人悲观，而不是“强壮AI”的前景，但这两个似乎分享了波斯特罗姆考虑到好莱坞式机器人启示录的假设，如：
随着时间的推移，人工智能变得越来越智能，因此也越来越像人类。它最终变得非常像人类，获得了人类的情感，如骄傲、怨恨、愤怒或贪婪。(也许它突然获得了“自由意志”，将其从程序员的控制中解放出来……)
这与大多数兴趣的情景不同：
随着时间的推移（在偏好排序中提升动作序列和促进较高的动作序列和促进较高）和科学诱导（设计和测试预测模型），AI越来越好。这些是即使我们不开发众生，情感或其他人类的艾，它们可能会被计算机科学家开发的足够有用的容量。有经济激励措施，使得这种AIS越来越强大，一般 - 包括转动AI的推理能力，以改善AI设计的奖励。这个过程的可能结果是AI对人类检查变得越来越自主和不透明，同时继续增加一般规划和推论能力。简单地通过持续输出其规划算法促进的行动，这一种类的AI可能会收敛于它将人类视为的政策资源或竞争．
正如Stuart Russell在回复布鲁克斯和其他人：
主要关注的是不是幽灵突然意识，但只是制造的能力高质量的决策．在这里，质量是指采取的行动的预期结果效用，其中utility函数由人工设计师指定。现在我们有一个问题：
1.效用函数可能与人类的价值观不完全一致，而人类的价值观(充其量)很难确定。
2.任何能力有能力的智能系统都会愿意确保自己的持续存在，并获得物理和计算资源 -金宝博官方 而不是为了自己的缘故，而是在其指定的任务中取得成功。
一个金宝博官方优化功能的系统N.变量，其中目标取决于子集的大小K.<N.，经常将剩余的未受控变量设置为极值;如果其中一个无约会变量实际上是我们关心的，那么发现的解决方案可能是非常不可取的。这基本上是灯具中的精灵的旧故事，或巫师的学徒，或迈尔斯国王：你完全得到你所要求的，而不是你想要的。
On this view, advanced AI doesn’t necessarily become more human-like — at least, not any more than a jet or rocket is ‘bird-like.’ Bostrom’s concern is not that a machine might suddenly become conscious and learn to hate us; it’s that an artificial scientist/engineer might become so good at science and self-enhancement that it begins pursuing its engineering goals in novel, unexpected ways on a global scale.
（添加02-19-2015.：Bostrom指出，他对超智部的定义是“关于Qualia的非传染性”和意识（第22页）。在一个脚注中，他补充说（第265页）：“出于同样的原因，我们没有考虑过度智能机器是否可能具有”真正的意向性“（速度塞尔，它可以;但这似乎与本书的担忧无关紧要）。“Searle没有提到这些段落。）
对人类关切无动于衷的规划和决策制度，但不会“恶意”，如果提供足金宝博官方够的推理能力，可能仍然是危险的。这与侵入性物种相同的原因最终会破坏生态系统和驾驶竞争对手灭绝。金宝博官方入侵者不需要对其竞争对手讨厌仇恨，并且不必进化以专门针对销毁;只需要进化有限资源的良好策略。由于强大的自治代理人不需要非常人性化，询问“人类之间的反社会行为有多常见？”或者智力与人类的美德有多好？“不太可能提供估计风险的有用起点。A more relevant question would be ‘how common is it for non-domesticated species to naturally treat humans as friends and allies, versus treating humans as obstacles or food sources?’ We shouldn’t expect AGI decision criteria to particularly resemble the evolved decision criteria of animals, but the analogy at least serves to counter our tendency to anthropomorphize intelligence.7
正如它所发生的那样，Searle引用了一个可以帮助阐明人工高智和“邪恶的成交机器人”之间的区别的AI：
[o] NE经常读取，在加里·卡斯帕罗夫在棋子中击败了anatoly karpov的情况完全相同的意义上，电脑叫做深蓝色的电脑并击败了Kasparov。
很明显，这一索赔是可疑的。为了让Kasparov玩并赢得，他必须意识到他正在下棋，有意识到千恶英，因为他与典当打开K4，他的女王受到骑士的威胁。深蓝色意识到这些东西都不是因为它根本没有意识到任何东西。[...]如果您完全从意识分离，您就不能真正地播放国际象棋或做任何其他事情。
当Bostrom想象一个AGI时，他想象类似于深蓝色的东西，而是通过关于任意物理配置而不是任意棋盘配置的专业知识。一种可以控制动态模拟环境中对象分布的机器，而不仅仅是在虚拟棋盘上的分布，它将与它所实施的深蓝色不同。它需要更通用和高效的启发式学习策略，并且需要能够自适应地学习“规则”的不同环境。但作为一个类比或直觉泵至少，它有助于澄清为什么Bostrom与Agi意向性不经过的Agi意向性，因为Kasparov大概是深蓝色的意向性。
2012年，骑士资本(Knight Capital)的交易算法代码存在缺陷，导致该公司在45分钟内做出了数百万个自动交易决定，导致该公司总计损失4.4亿美元(税前)。这些算法并不是“恶意的”;它们只是在它们所做的事情上效率高，并被编程去做一些程序员没有打算做的事情。Bostrom的观点假设有缺陷的代码会产生现实世界的结果，它假设可以在代码中执行类似于《Deep Blue》的内容，并假设预期代码与实际代码之间的不匹配并不一定会导致AI失效。博斯特罗姆没有在任何地方假定这样的人工智能具有比深蓝更多的意识或意图。
深蓝会重新排列棋子以产生“获胜”的结果。同样，AGI将重新安排数字和物理结构，以产生一些结果，而不是其他结果。如果我们愿意，我们可以将这些结果简称为系统的“目标”。金宝博官方我们也可以自由地说，深蓝“感知”了对手的走法，调整了它对新棋盘状态的“信念”，以及现在哪个“计划”能更好地实现它的目标。或者，如果我们愿意，我们可以改写这种拟人化的语言。这个术语对博斯特罗姆的论证并不重要。
If whether you win against Deep Blue is a matter of life or death for you — if, say, you’re trapped in a human chess board and want to avoid being crushed to death by a robotic knight steered by Deep Blue — then you’ll care about what outcomes Deep Blue tends to promote and how good it is at promoting them, not whether it technically meets a particular definition of ‘chess player.’ Smarter-than-human AGI puts us in a similar position.
I noted that it’s unfortunate we use ‘AI’ to mean both ‘AGI’ and ‘narrow AI.’ It’s equally unfortunate that we use ‘AI’ to mean both ‘AI with mental content and subjective experience’ (‘strong AI,’ as Searle uses the term) and ‘general-purpose AI’ (AGI).
我们可能无法排除the possibility that an AI would require human-like consciousness in order to match our ability to plan, model itself, model other minds, etc. We don’t understand consciousness well enough to know what cognitive problem it evolved to solve in humans (or what process it’s a side-effect of), so we can’t make confident claims about how important it will turn out to be for future software agents. However, learning that an AGI is conscious does not necessarily change the likely effects of the AGI upon humans’ welfare; the only obvious difference it makes (from our position of ignorance) is that it forces us to add the美国国际集团的幸福和幸福于我们的道德考虑因素。8.
在Kurzweil的着作中勾勒出未来的图片，在好莱坞剧会中得到了很多关注，但他们没有非常重叠，与波斯特罗姆或Miri研究人员的观点非常重叠。金宝博娱乐特别是，我们不知道第一个AGI是否会有人类的认知，我们不知道它是否取决于大脑仿真。
布鲁克斯对“计算和大脑是一回事”表示了一些怀疑。Searle阐述了更激进的观点，即语法机器不可能拥有(独立于观察者的)语义内容，因此计算系统永远不可能拥有思维。金宝博官方但从根本上说，人脑仍然是一个机械的物理系统。金宝博官方不管你是否选择称其动力学为“计算性的”，其他物理系统都应该有可能表现出高级的规律性，我们将其称为人类的“环境建模”、“根据可能的结果输出行动”等。金宝博官方如果通用科学推理的模式有一天可以应用在合成材料上，那么由此产生的技术应该能够比人类的同类技术在速度和尺寸上有更大的优势。这一点本身就表明，研究一些我们不了解的关于一般智能和自我改造人工智能的事情是有价值的。
直到我们对问题的性质更好地掌握，它将推测解决方案的速度是什么，解决方案将采取的形状，或解决方案将来自的角落。我的希望是改善在这次讨论中的派对如何了解彼此的职位将使计算机科学家更容易对未来的不同期望，以便在围绕潜在的AI设计周围的最高优先挑战的挑战。
- 同样，狭窄的ai不是无关紧要到AGI风险。建立AGI肯定可能会要求我们改善窄AI方法的权力和一般性。然而，这并不意味着AGI技术看起来像当天的技术，或者所有AI技术都是危险的。↩
- Kurzweil，in.奇点近在咫尺（第262-263页）：“一旦我们成功创建了一个可以通过图灵测试的机器（大约2029年），后续时期将是一个整合时代，其中非生物智力将迅速增长。然而，在20世纪40年代中期[]“之前，为奇点进行了奇点的非凡的扩展，其中人类智能乘以数十亿美元。↩
- 哈迪esmaeilzadeh.此外，我们不能认为我们的计算资源将继续迅速增加。↩
- 这 ”超出超级机床的自满“文章认为，同样，这种情报爆炸和超级心灵AI是我们现在进行调查的重要可能性，即使它们与AI介导的经济中断和自主武器相比是”长期“问题。↩
- 凯瑟琳费舍尔笔记：
总的来说，对能力的研究超金宝博娱乐过了对如何确保这些能力安全的相应研究。一个给定能力的安全性问题在该能力被证明是可能的之前并不有趣，所以最初研究人员和发明者自然更关注新能力，而不是与其相关的安全性。金宝博娱乐因此，一旦新功能被发明出来并证明是有用的，安全性就必须跟上。
此外，根据定义，新功能增加了有趣和有用的新功能，这些功能通常会提高生产力，生活质量或利润。安全性除了确保其所在的方式之外，没有任何东西增加，所以它是一个成本中心而不是盈利中心，这往往会抑制投资。
- Bostrom Cites Cites Armstrong和Sotala的研究超明（第3-4页），补充说：
自从20世纪40年代计算机发明以来，人们一直期待机器在总体智能上与人类相匹配。当时，这种机器的出现通常是在20年后。从那以后，预计的到达日期以每年一年的速度递减;因此，今天，关注人工通用智能可能性的未来学家仍然经常认为，智能机器离我们还有几十年的时间。
对于激进变革的预言者来说，20年是一个美妙的时刻:距离足够近，足以吸引眼球，也足够重要，但也足够让人有可能认为，到那时，一系列目前还难以想象的突破可能已经出现。20年也可能接近一个预测者职业生涯的一般剩余时间，这限制了一个大胆预测的声誉风险。
从过去的一些人在过去的人为智慧中有过于预测的人工智能，但它不遵循AI是不可能的，或者永远不会发展。为什么进步比预期更慢的主要原因是构建智能机器的技术难点已被证明大于先锋前述。但这叶子只有这些困难的巨大困难以及我们现在的速度有多远。有时，最初看起来绝望的问题是有一个令人惊讶的简单解决方案（虽然反向可能更为常见）。
- 心理学家Steven Pinker写道Edge.org.：
AI Dystopias的另一个问题是他们将狭隘的alpha-maly心理学投射到智能概念上。即使我们确实有超人聪明的机器人，为什么他们会想要是罢黜他们的主人，屠杀旁观者，还是统治世界?智能是运用新奇手段达到目标的能力，但这些目标与智能本身无关:变得聪明并不等同于想要某样东西。历史上确实偶尔会出现狂妄自大的独裁者或精神变态的连环杀手，但这些都是自然选择历史的产物，在某种灵长类动物身上塑造了睾丸激素敏感电路，而不是智能系统的必然特征。金宝博官方它告诉我们，许多科技预言家无法想象人工智能会自然地沿着女性的路线发展:完全有能力解决问题，但没有消灭无辜者或主宰文明的强烈愿望。
然而，虽然粉红色是正确的，但智力和终端目标是正交，这并不意味着两个随机组乐器目标——为进一步实现两组随机最终目标而推荐的政策——同样是不相关的。博斯特罗姆在超明（例如，第116页）：
[W] E不能简而言之假设具有计算PI（或制作纸夹或沙子谷物的数量）的最终目标的过度智能将限制其活动，以免侵犯人类利益。具有如此最终目标的代理商将在许多情况下具有会聚工具原因，以获取无限量的物理资源，以及如果可能的话，消除对自身及其目标系统的潜在威胁。金宝博官方
在生物学中，我们没有看到平等混合的无条件界面仁慈和残酷的间隔剥削。即使是利他主义和共同主义，当他们出现时，才会在他们是良好的自我复制策略的范围内。自然是“红色的牙齿和爪子，”不是因为它是男性，而是因为它是不人道．我们的直觉认为，在进化过程中，具有挑衅性和挑衅性的人相对普遍。
为了德诺维AGI或充分修饰的神经形态AGI，关于人类人格类型的直觉可能无法申请类似的原因。Bostrom的方法是询问程序员的动机和能力，（在自我修改ai的情况下），状态软件代理将倾向于在许多自我修改周期内收敛。↩
- We don’t need to know whether bears are conscious in order to predict their likely behaviors, and it’s not obvious that learning about their consciousness would directly impact bear safety protocol (though it would impact how we ought ethically to treat bears, for their own sake). It’s the difference between asking whether Deep Blue enjoys winning (out of concern for Deep Blue), versus asking whether you’re likely to win against Deep Blue (out of interest in the chess board’s end-state).↩
你喜欢这篇文章吗？你可以享受我们的其他分析帖子，包括：
