Miri的使命是确保创造聪明的人工智能具有积极的影响。为什么这个任务是重要的，为什么我们认为我们今天可以做的工作来帮助确保任何这样的事情？
在这篇文章和我的下一个帖子中，我会尽力回答这些问题。这篇文章将阐述我认为是我们使命之外的四个最重要的场所。相关帖子包括Eliezer Yudkowsky的“五篇论文“和卢克·穆罕普斯的”为什么miri？“;每当我断言我们的使命是重要的，这是我试图明确的索赔。
索赔＃1：人类具有解决问题的一般能力，实现各个领域的目标。
我们称之为“情报，”或“一般情报”。这不是A.正式定义- 如果我们知道确切地至于一般智力是什么，我们可以更好地把它编入电脑——但我们确实认为，确实存在一种我们无法在代码中复制的一般智力现象。
观点：没有一般情报。相反，人类有一系列不同的专用模块。计算机将在诸如国际象棋或驾驶等狭义定义的任务中保持更好，但在任何时候，他们都不会获得“一般性”并变得明显更有用，因为没有泛滥获取。（罗宾·汉森已经为这个立场的不同版本进行了辩论。)
短响应：我发现“不同的模块”假设令人难以置信，因为人类如何在祖先完全陌生的域中获得掌握。这并不是说一般智力是一些不可挽回的隐匿性;它可能包括许多不同的认知院系和它们之间的相互作用。然而，整体的效果使人类更加认知多功能，并且适应（例如）黑猩猩。
为什么这是索赔事项人类之所以在其他物种中占据统治地位，不是因为更强壮或更敏捷，而是因为更聪明。如果这种普遍智能的某些关键部分能够在我们与黑猩猩共同的祖先生活的几百万年里进化，这意味着可能存在一个相对简短的关键洞察列表，使人类工程师能够构建强大的普遍智能人工智能系统。金宝博官方
进一步的阅读：Salamon等，“智力的可解性如何?“
索赔＃2：AI系统可能变得金宝博官方比人类更聪明。
金宝博娱乐Miri的研究人员往往缺乏强烈的信念什么时候比人类更聪明的机器智能将被开发出来。然而，我们确实预计(a)与人类相当的机器智能最终将被开发出来(很可能在一个世纪之内，除非发生灾难);第二，机器可以变得比任何人都聪明。
观点# 1大脑能做一些电脑无法复制的特别的事情。
短响应：大脑是物理系统，如果某些版本的金宝博官方教堂Hold那么计算机在原则上可以复制任何物理系统的功能输入/输出行为。金宝博官方此外，请注意，“智能”(正如我使用的术语)是关于解决问题的能力:即使存在一些特殊的人类特征(比如兰)，除非它阻止我们设计解决问题的机器，否则这将是无关紧要的。
观点# 2当前位置一般智力的算法是如此复杂和难以破译，人类在未来几个世纪内将无法编写出任何类似的程序。
短响应：鉴于进化证据，这似乎是令人难以置信的。属同性恋者仅仅280万年前的其他金属散发出来，中间时间 - 自然选择眼中的眨眼 - 足以产生人类中所看到的认知优势。这强烈意味着，只有智能物种的人类分开的任何东西都没有极其复杂：一般情报的建筑块必须在黑猩猩中存在。
事实上，海豚相对聪明的行为表明，这些积木可能早在老鼠大小的人类和海豚共同祖先时就存在了。有人可能会说，老鼠的智力水平需要几个世纪才能复制出来，但鉴于这是一个更难接受的说法快速的进步在ai的领域。鉴于进化证据和过去几十年的AI研究，它看起来像智慧是我们将能够理解和计划的东西。金宝博娱乐
观点# 3人类的生理智能已经达到或接近顶峰。因此，尽管我们可能能够建造与人类相当的智能机器，但我们无法建造超级智能机器。
短响应如果人类是完美设计的推理者，那将是令人惊讶的，同样的，如果飞机不能飞得比鸟更快，那也将是令人惊讶的。简单的物理计算证实了这一直觉:例如，在物理学的范围内，很有可能以数千倍于正常速度运行人脑的计算机模拟。
有些人希望速度无关紧要，因为真正的瓶颈正在等待数据来自物理实验。这似乎不太可能对我来说。有许多有趣的物理实验可以加快，我很难相信一个在1000倍加速下运行的人团队将无法超越他们的正常速度对应物（并非最不重要的是，因为他们可以迅速开发新的工具和技术协助他们）。
我还希望它可以建立更好的推理（而不是快推理员使用计算资源比人类更有效地使用，甚至以相同的速度运行。
为什么这是索赔事项：人类设计的机器经常在表演任务方面敲击生物生物的袜子，我们关心：汽车无法愈合或繁殖，但他们肯定可以携带人类更远，比马更快。如果我们能够通过科技创新建立专门设计用于解决世界上最大问题的智能机器，那么他们可以以前所未有的节奏改善世界。换句话说，ai很重要。
进一步的阅读：Chalmers，“奇点:一个哲学分析“
主张3:如果我们创造出高度智能的AI系统，它们的决定将塑造未来。金宝博官方
人类利用他们的智能创造工具、计划和技术，使他们能够按照自己的意愿塑造环境(并在环境中装满冰箱、汽车和城市)。我们预计，更智能的系统将拥有更金宝博官方强的能力来塑造环境，因此，比人类更聪明的人工智能系统最终将比人类拥有更大的控制权。
观点：无论聪明都变得金宝博官方多么聪明，AI系统将永远无法为人类缩写。我们的环境太竞争了;机器必须与我们合作并融入我们的经济。
短响应：我毫不怀疑，试图完成简单任务的自主AI系统将最初有强有力的激励措施，以与我们的金宝博官方经济融合：如果您为您收集邮票的AI系统，则可能首先获取资金来购买邮票。但是如果系统赋予了强大的技术或战金宝博官方略优势，该怎么办？
作为一个极端的例子，我们可以想象系统开发纳米载体并使用它们转换为邮票的重要事项;金宝博官方这不一定关心这种情况来自“污垢”或“金钱”或“人民”。当自私行动者只有贸易的收益大于他们将通过忽视经济而获得的净收益，并只是为了自己的资源而获得的净收益，只有激励经济。
因此，问题在于人工智能系统是否有可能获得决定性的技术或战略优势。金宝博官方我认为这是我在这里列出的最不确定的主张。然而，我希望答案仍然是明确的“是”。
从历史上看，人类之间的冲突经常结束了主导其竞争对手的技术上优秀的团体。目前，有许多技术和社会创新似乎可能，但尚未开发。与可以实现的分布式软件系统相比，人类坐标慢慢且差。金宝博官方所有这些都表明，如果我们建立比我们能够更快或更好的机器，它可以迅速为自己或其运营商提供对人类的技术和/或战略优势。如果其知识优势允许它允许社会操纵人类，则尤其如此，获得新硬件（法律或以其他方式），产生更好的硬件，创建自身的副本，或改进自己的软件。对于好或生病，大部分未来可能由超级智能决策机决定。
为什么这是索赔事项因为未来很重要。如果我们希望事情在未来变得更好(或至少不会变得更糟)，那么审慎的做法是优先考虑那些对未来具有高影响力的过程。金宝博娱乐
进一步的阅读：阿姆斯特朗，比我们聪明
默认情况下，高度智能的AI系统不会有益。金宝博官方
我们希望看到未来比人类更聪明的人工智能系统与人类共同建设一个更美好的未来;金宝博官方但在默认情况下，这不会发生。为了构建具有有益影响的AI系统，我们必须解金宝博官方决除构建更强大和通用的AI系统之外的许多技术挑战。
观点：随着人类变得更聪明，我们也变得更加和平和宽容。由于AI变得更智能，同样能够更好地弄清楚我们的价值观，并将更好地执行它们。
短响应：足够聪明的人为推理师将能够算出我们的意图和偏好;但这并不意味着他们将执行根据他们的计划。
自我修改的AI系统可以检查其代码并决定是金宝博官方否继续追求所提供的目标或是否宁愿改变它们。但程序如何确定要执行哪种修改？
AI系统是一个金宝博官方物理系统，它的某处内部，它建立了关于宇宙如何看待各种事物的预测。系统的其他一些部分正在比较那些结果，然后执行导金宝博官方致当前系统高度排名的结果的动作。如果代理最初被编程为执行导致它预测癌症被治疗的宇宙的计划，那么如果预测这将导致癌症治愈，它只会改变其目标。
无论他们的智力水平如何，无论您的意图，计算机都为确切地你编程他们要做什么。如果您编写了一个极其智能的机器，以执行它预测的计划导致癌症所治疗的期货，那么它可能会发现它可以找到的最短路径，这可能会发现无癌症的未来需要绑架人类进行实验（并抵制您的尝试改变它，因为那些会减慢它）。
没有任何同情的火花自动灌输给电脑尊重其他感知一旦他们超过一定的能力阈值。如果你想要同情，你就得把它编入程序。
为什么这是索赔事项：通过超级核心援助解决了很多世界上最大的问题 - 但是实现这些福利要求我们不仅仅是提高AI系统的能力。金宝博官方如果您知道如何将您的意图考虑到金宝博官方帐户，则只能获得您打算的系统，并执行满足它们的计划。
进一步的阅读：Bostrom，“过度智力将会“
这四个主张构成了人工智能重要的核心论点:存在一般推理能力这种东西;如果我们制造出一般的推理机，它们可能比人类聪明得多;如果它们比人类聪明得多，它们可能会产生巨大的影响;而这种影响在默认情况下不会是有益的。
目前，数十亿美元和数千人 - 年涌入ai能力金宝博娱乐研究，采用了AI安全研究的相对较少的努力。在未来几十年的某个时候可能会出现人工超智部，几乎肯定会在下个世纪或两者中以一种形式创造，或者在下一世纪或两个禁止灾难。超级智能系统将对人类产生极大的积极金宝博官方影响，或极其消极的影响;我们决定了哪些。
你喜欢这篇文章吗？你可以享受我们的另一个分析的帖子,包括:
