比尔希巴德道德的人工智能

卢克·穆罕沃斯你最近出版了一本自己出版的书，道德的人工智能，“结合了几个同行审查的论文和新材料来分析道德人工智能的问题。”大多数本书都致力于您和我描述的AI中的探索工程一篇最近的CACM文章，这样你就可以从数学上分析未来AI智能体的行为属性，例如效用最大化智能体。

许多人工智能科学家有这样的直觉:当我们离构建AGI如此遥远，并且不知道AGI将会是什么样子的时候，这样早期的探索工作是不太可能得到回报的。比如迈克尔·利特曼写了:

提出对付AGI无形威胁的具体机制，有点像在我们想到汽车之前就试图设计安全气囊。安全问题必须在不同的背景下解决，而我们谈论的背景仍然是荒谬的推测性的。

您如何捍卫您以伦理人工智能到Littman和分享他怀疑的其他人的价值？

比尔希巴德：这是一个很好的问题，卢克。与汽车的类比有用。与汽车之前的工程安全气囊不同，我们已经努力开发AI，可以预测各种类型的危险。

最初设想汽车时，工程师们可能知道它们可以推动人体高速前进，而且它们需要携带一些集中的能源。他们从马车事故中知道，人的身体在高速行驶时容易受伤，他们知道集中的能源容易起火和爆炸，从而可能伤害人。这与我们对未来人工智能的认识类似:为了更好地为人类服务，人工智能将必须了解很多关于单个人类的事情，而人类将无法监控人工智能的每一个单独行动。未来人工智能的这些属性会带来危险，就像汽车的基本属性(驾驶人和携带能量)会带来危险一样。

早期的汽车设计师可能已经预料到，没有一辆单独的汽车能承载所有的人类，因此车祸不会对人类构成生存威胁。鉴于汽车通过污染威胁人类安全和健康，我们有时间注意并解决这些威胁。有了人工智能，我们可以预测可能威胁到人类的情况，一旦人工智能系统开始运作，这些情况可能难以解决。金宝博官方例如，正如我的书的第一章所描述的，全知人工智能，有着详细的人类社会模型和利润最大化的目标，威胁着控制人类社会。然而，与汽车相比，人工智能的潜在好处要大得多，但危险也要大得多。这使得我们有理由付出更大努力来预测人工智能的危险。

值得注意的是，探索工程的抽象框架适用于任何合理的未来AI设计。由于我的书的第二章描述，结果中的任何一组完整和传递偏好可以通过效用函数表示。如果偏好是不完整的，那么在它们之间没有偏好的结果A和B，因此AI代理无法决定。如果偏好不传递，则存在结果A，B和C，使得A优选B，B，B是优选的，并且C是A的优选A.再次，AI试剂不能决定。因此，我们的探索工程可以假设公用事业最大化代理，并涵盖所有案例，其中AI代理人可以在结果中决定。

同样，本书中讨论的危险通常是适用的。任何强大的AI设计都应该解释如何避免环和奥尔库尔难以描述的自我妄想问题，如休假所描述的那样破坏奖励发生器的问题，以及omohundro（他称之为基本的意外的工具行为）AI驱动器）。

来自AI的威胁级别证明了现在解决AI危险和重要资源。我们正在开发工具，使我们能够在我们了解其设计的具体细节之前分析AI系统的危险。金宝博官方

路加福音：您的书主要讨论AGIS而不是当代狭窄的AI系统。金宝博官方粗略地何时，您希望人类会培养类似于您所想到的那种AGIS的东西？或者，你的概率分布在“岁月到AGI”看起来像？

账单在我2002年出版的《超级智能机器》一书中，我写道:“与人类一样智能的机器可能存在，并将在下个世纪左右存在。”(出版社拥有我2002年出版的那本书的版权，不让我把电子版给别人，每本印刷版的收费超过100美元。这在很大程度上解释了为什么我决定把我现在的书放在arxiv.org上。)我想说的是，在已经出生的孩子的生命中，我们将达到人类水平的人工智能。事实上，我不禁会惊讶地看着这些孩子，思考着他们将看到的事情。

雷·库兹韦尔(Ray Kurzweil)在2005年出版的《奇点临近》(The Singularity is Near)一书中预测，人类级别的人工智能将在2029年出现。他在技术预测方面有着良好的记录，我希望他是对的:我出生于1948年，所以很有可能活到2029年。他还预测到了2045年的奇点，其中肯定包括我在最近的书中讨论的那种非常强大的人工智能系统。金宝博官方

尽管它的智能水平远不及人类，但从某种意义上说，DeepMind的雅达利玩家是一个通用的人工智能系统，它对雅达利游戏没有预知，只知道目标是获得高分。金宝博官方这个系统的显著成功增加了我的信心，我们将创建真正的AGI系统。金宝博官方DeepMind被谷歌收购，所有的大型IT公司都在大力发展AI。AGI技术和对数亿人类用户的访问相结合，可以创建我的书中第1章所描述的全知人工智能场景。政府监控机构也有类似情况，它们有数亿不知情的用户。

1983年，我向2013年击败了世界击败世界的赌博，并丢失了。事实上，大多数关于AI的预测都是错的。因此，我们必须为我们对AI里程碑日期的预测带来一些谦卑。

因为Ray Kurzweil的预测是基于历史趋势的定量推断，而且由于他的良好轨道记录，我一般推迟他的预测。如果2029年的人级AI将存在于2045年的2029年和非常有机能力和危险的AGI系统，则迫切需要尽快了解AI的社会影响和危险。金宝博官方

路加福音：您认为哪些部分您的书籍最有可能对计算机科学家有兴趣，因为他们会学会一些似乎新颖（对他们）和合理的重要意义的东西？

账单：谢谢卢克。本书有几个部分可能是有趣或有用的。

在AAAI-15的AI和伦理研讨会上，基于实用程序函数被定义为特征的线性和的内容或类似简单表达式的内涵，有些关于普通道德的普遍性的困惑。但是，如第2章和在此面试的第一个答案中所述，更复杂的实用程序功能可以在结果中表达任何一组完整和传递的偏好。也就是说，如果代理商总是在任何有限成果组中具有最优选的结果，则该试剂可以表示为效用最大化剂。

第四章详细讨论了环境模型为有限随机规划的个体的问题。AGI社区的大多数论文都假设环境是由通用图灵机的程序建模的，对它们的内存使用没有限制。我认为我在第四章中所写的内容可以补充很多，并且希望有人能够这样做。

第八章的自建模代理是类似于价值学习者(如DeepMind Atari player)的正式框架，它们作为正式框架的使用是新颖的。自建模代理具有有用的属性，如评估代理资源增长的能力和避免代理效用函数与代理定义不一致的问题的方法。这个问题的一个例子就是阿姆斯特朗所说的“有动机的价值选择”。更一般地说，这是向效用最大化代理添加任何“特殊”动作的问题，而这些特殊动作并没有使效用函数最大化。在动机价值选择中，特定的行为是agent演化其效用函数。效用最大化的行动者可以选择从其定义中去除特殊行为的行为，作为效用函数最大化的反作用。自我建模的代理在其价值函数的定义中包括了这种进化性的特殊行为，并且他们学习了一个价值函数的模型，用这个模型来选择他们的下一个行动。因此就没有
不一致。我认为其他计算机科学家应该会对这些想法感兴趣。

2015年1月在圣胡安举行的FLI会议上，人们对我书中第5 - 9章所描述的技术人工智能风险以及技术失业感到担忧。然而，并没有太多的关注与以下相关的危险:

1. 大型人工智能服务器连接到电子伴侣，将由大量的人和
   人工智能服务器的人类所有者操纵社会的能力，以及
2. 在未来的世界里，巨大的财富可以买到更多的智力，卓越的智力可以产生更多的财富。这种正反馈循环将导致智力的幂律分布，而不是目前的平均智商为100，标准偏差为15的正态分布。

这些问题在我的书的第一章和第十章进行了讨论。“全球大脑”的研究人员研究的是智力金宝博娱乐在人类网络中的表现方式;作为网络节点的人和机器的智能分布的变化将对“全球大脑”的本质产生深远的影响。除了计算机科学家，我认为公众也需要了解这些问题。

最后，我想详述一下我之前的回答，特别是DeepMind雅达利玩家是通用AI的一个例子。在我的书的第一章中，我描述了目前的人工智能系统如何拥有由人类工程师设计的环境模型，而未来的人工智能系金宝博官方统将需要学习环境模型，这些环境模型过于复杂，人类工程师无法设计。DeepMind的系统不使金宝博官方用工程师设计的环境模型。它是“无模型”的，但它所学习的价值函数就像环境模型一样复杂，而且实际上编码了一个隐式环境模型。因此，DeepMind系统是未来第一金宝博官方个具有重要功能的人工智能系统。

路加福音:能否详细说明你所说的“第8章中的自建模代理是像DeepMind Atari player这样的价值学习者的正式框架模拟物”是什么意思?你是说，你在第8章中所做的正式工作甚至对现有的系统(比如DeepMind Atari player)也有影响，因为它们具有足够的相似性吗?金宝博官方

账单:详细说明我所说的“塑造自我的代理认证自我的第8章的正式框架模拟值学习者如DeepMind雅达利的球员,”self-modeling代理和价值学习者学习函数v (ha)后产生的期望值提出行动交互历史h(也就是说,H是观察和行动的序列;详情见我的书)。对于DeepMind Atari玩家来说，v(ha)是行动a和h后的预期游戏分数(游戏邦注:即游戏屏幕快照)。尽管DeepMind系统必须是可实际计算的金宝博官方，但自建模代理框架是一个纯粹的数学定义。这个框架是有限可计算的，但任何实际实现都必须使用近似。这本书提供了一些关于计算技术的建议，但是讨论不是很深入。

因为现有的系统，如DeepMi金宝博官方nd雅达利播放器还没有接近人类的智力水平，这并不意味着该系统应该受到安全约束。令人鼓舞的是，DeepMind和Vicarious的工作人员关心人工智能伦理问题，原因有二:1)当系统接近人类水平时，他们可能会将伦理要求应用到系统中;2)他们非常聪明，可能会为人工智能安全研究增加很多内容。金宝博娱乐金宝博官方

一般来说，安全和伦理的金宝博娱乐人工智能研究通过增加需求使创建人工智能的任务复杂化。我的书发展了一个三个参数的效用函数来表达人类价值，这将是非常复杂的计算。对于其他组件的自建模代理的定义也在书中类似。

我认为有相反的含义。自建模框架是基于统计学习的，DeepMind雅达利(Atari)玩家、Vicarious验证码求解器、IBM的沃森(Watson)和其他使用统计学习技术的实际系统的成功增加了我们的信心，我们相信这些技术确实可以在人工智能能力和安全方面发挥作用。金宝博官方

一些研究人金宝博娱乐员认为，安全的人工智能应该依靠逻辑推理，而不是统计学习。这个想法为证明AI的安全性提供了更大的可能性，但到目前为止，还没有令人信服的基于逻辑推理的AI系统的演示(至少我不知道)。金宝博官方这样的演示将大大增加我们证明人工智能系统安全性能的能力的信心。金宝博官方

路加福音你的第10章考虑了高级AI的政治方面。你认为现在可以做些什么来提高我们在未来解决人工智能的政治挑战的机会?YC的Sam Altman有提出了各种各样的规定——你同意他的总体想法吗?你还有别的想法吗?

账单：2002年的核心观点是需要公共教育和控制上方的人级别的AI。目前斯蒂芬霍金，比尔盖茨，伊隆麝香，雷库尔兹威尔和其他关于艾的危险的公众讨论非常健康，因为它教育公众是非常健康的。同样，对于由奇点研究所（Miri的前身）组织的奇点峰会，我认为是奇点学院所做的最好的事情。

在美国，没有执照的人不能拥有自动武器、口径大于。50的枪支或爆炸物。允许这样的事情发生，却允许不受管制地开发高于人类水平的人工智能，这将是荒谬的。随着公众对人工智能的了解，我认为某种形式的监管将不可避免。

然而，正如他们所说，细节决定成败，人类将无法在细节上与未来的人工智能竞争。复杂的细节将是人工智能的强项。因此，制定有效的监管将是一项政治挑战。1933年监管银行业的格拉斯-斯蒂格尔法案(Glass-Steagal Act)长达37页。2010年的《多德-弗兰克法案》(Dodd-Frank bill)长达848页，也是在77年后对银行业进行监管。一大批律师起草了该法案，其中许多人受雇保护受该法案影响的群体的利益。法律的日益复杂化反映了被监管主体减轻监管负担的努力。监管人工智能的利害关系将是巨大的，我们可以预计，在被监管的人工智能系统的帮助下，大批律师将制定非常复杂的法律。金宝博官方

在我的书的第二章，我得出结论，伦理规则不可避免地是模糊的，我提出的安全人工智能设计基于效用函数而不是规则表达的人类价值。考虑一下目前美国最高法院审理的案件，根据《合理医疗费用法案》(Affordable Care Act)的363086个词来解释“由州设立”一词的含义。这是规则模糊性的一个很好的例子。一旦人工智能法规成为法律，在人工智能的帮助下，大批律师将会就其解释和应用展开辩论。

对付律师大军在任何法律问题上制造复杂性的最好办法是让公众接受有关该问题的教育，并致力于保护他们自己的利益。汽车安全就是一个很好的例子。人工智能监管也将如此。而且，就像在第10章的引言部分所讨论的，一些有钱有势的人有同情心的意图是有先例的，这可能有助于平衡他们制造复杂性的兴趣。

影响使用人工智能的现有大型IT系统的隐私法规，在美国已经存在，欧洲甚至更多。金宝博官方然而，许多IT服务依赖于用户偏好的精确模型。最近在圣胡安举行的FLI会议上，我试图表明人工智能的一个危险是，人们将希望与人工智能系统建立一种亲密的、私人的关系，这将使人工智能能够入侵和操纵系统。金宝博官方在我的书的第一章中描述的全知人工智能就是一个例子。正如一位精明的IT律师在FLI会议上所说，一项IT创新是否合法的问题取决于它是否会受到欢迎。

这让我们恢复了对AI公共教育的需求。对于人们通过与AI密切关系的短期好处抗拒煽动，他们需要了解长期后果。我认为禁止人和ai之间的密切关系并不是现实的，但也许公众，如果它理解这些问题，可以对这些关系被利用的目标进行一些规定。

在我的第10章的最后一部分，AI开发者和测试人员应该意识到他们是人类未来的代理人，他们的设计和测试结果应该对公众透明。FLI的公开信和谷歌关于人工智能伦理的讨论是令人鼓舞的迹象，表明人工智能开发者确实认识到他们作为未来人类代理人的角色。此外，DeepMind对雅达利玩家的技术一直保持透明，甚至将源代码用于非商业目的。

AI开发者应该因为他们的成功而获得奖励。另一方面，人们有权避免把自己的生活控制权交给全能的人工智能及其富有的人类主人。问题是要找到一种方法来实现这两个目标。

在拥有自然进化的大脑的当今人类中，智商呈正态分布。当大脑是人工制品时，它们的智力可能有幂律分布。这是其他工件(如卡车、轮船、建筑物和计算机)大小分布的模式。一般人将无法理解或学习最聪明的大脑使用的语言。这可能意味着普通人在公共政策决策中任何直接发言权的终结——实际上是民主的终结。但是，如果大型人工智能系统最大化金宝博官方了用于个人价值的效用功能，这可能会取代直接民主。

我的书的第6 - 8章提出了AI设计的数学定义，它平衡了个体人类的价值。第10章建议，可以修改这一设计，为不同的人提供不同的价值权重，例如奖励那些开发AI系统的人。金宝博官方我必须承认，我的书中的技术章节和关于政治的第10章之间的联系很弱。政治问题是困难的。例如，未来可能会有多个具有相互冲突的效用函数和智能幂律分布的AI系统。金宝博官方很难预测这样一个社会将如何运作以及它将如何影响人类，这种不可预测性是一种风险。创造一个拥有单一强大AI系统的世界也会带来风险，而且可能很难实现。金宝博官方

自从2001年我发表了第一篇关于未来人工智能的论文以来，我一直认为人工智能最大的风险是政治上的，而不是技术上的。我们有义务教育公众关于人工智能的未来，而一个受过教育的公众是从人工智能中找到一个好的结果的关键因素。

路加福音:谢谢,比尔!