罗马yampolskiy在AI安全工程

路加福音Muehlhauser:在Yampolskiy (2013)你认为机器伦理学是人工智能安全的错误方法，我们应该使用“人工智能安全工程”的方法。具体地说,你写的:

我们不需要机器，这是完全道德代理的辩论，关于正确违法，我们需要我们的机器本质上安全和遵守法律。

在你看来，“机器伦理”和“人工智能安全工程”有什么区别?为什么后者更优越?

罗马Yampolskiy:两种方法之间的主要区别在于如何设计AI系统。金宝博官方在机器伦理的情况下，目标是构建一种能够为人性做出道德和道德判断的人工道德主义者。如果这样的决定包括“活或死亡”决定，我尤其担心，但它是一个完整的道德药剂的自然领域，许多人已经指出，应该给出这种决策权。事实上，有些人认为，机器将优于那个领域的人类，就像他们在大多数其他领域一样（或将是）。

我认为为人类提供这种权力是一个严重的错误。首先，一旦我们放弃了道德监督，我们将无法撤消该决定并获得权力。其次，我们无法为其错误的决定奖励或惩罚机器 - 基本上我们最终会享受一个不朽的独裁者，以防止任何可取性的免疫力。听起来像是一个非常危险的情景。

另一方面，人工智能安全工程对待人工智能系统设计就像产品设计，你唯一关心的是产品责任。金宝博官方系统是否严格遵循正金宝博官方式规范?重要的是要强调的是，产品并不是一个完全的道德代理人，因此从来没有通过道德判断它的人类主人。

军用无人机就是一个活生生的例子。全自动无人驾驶飞机决定谁开火将必须做出一个道德的决定的人类是值得杀死的敌人,虽然人在回路的无人机设计自主定位潜在目标但需要人类做出决定开火。

显然，情况并不像我的例子试图显示的那样清楚，但它给了你我心中所想的一个概念。总而言之，我们设计的AI系统应该是金宝博官方我们的工具，而不是在“生死攸关”决策中更优越的合作伙伴。

卢克：我倾向于将机器伦理和AI安全工程视为免费方法。AI safety engineering may be sufficient for relatively limited AIs such as those we have today, but when we build fully autonomous machines with general intelligence, we’ll need to make sure they want the same things we want, as the constraints that come with “safety engineering” will be insufficient at that point. Are you saying that safety engineering might also be sufficient for fully autonomous machines, or are you saying we might be able to convince the world to never build fully autonomous machines (so that we don’t need machine ethics), or are you saying something else?

罗马：我认为完全自主的机器永远不会安全，所以不应该建造。我不是naïve;我不认为我会成功地说服世界不要建造完全自主的机器，但我仍然认为这种观点需要用语言表达出来。

你指出人工智能安全工程只能在不完全自主的人工智能上工作，这是对的，但我认为完全自主的机器永远不会安全，人工智能安全工程是我们能做的最好的。

我想我应该简要解释为什么我认为完全自治机器不能被认为是安全的。问题的难度不是在友好友好的道路上的一个特定步骤很难，一旦我们解决了它，我们就完成了这条路的所有步骤都是不可能的。首先，人类值不一致，动态不一致，因此永远不会被理解为机器。克服这个障碍的建议要求将人类改为不变的东西，因此根据定义摧毁它。其次，即使我们确实拥有一致和静态的价值集来实现我们就无法知道自我修改，自我改善，不断学习智能是否比我们的更大，即将继续强制执行该集的价值观。有些人可以争辩说，友好的ai研究是教导我们如何做到的，但我认为关金宝博娱乐于可验证性的基本限制将阻止任何此类证明。尽管我们将到达一个概率的证据，即系统与某些固定约束一致，但它远非“安全”，以实现无限制的输入。金宝博官方

由于更高的复杂性和不可能的增量测试，一个友好的AI也不可能在一个普通的AI系统之前被构造出来。金宝博官方

更糟糕的是，任何真正的智能系统都将以非常聪明的人处理社会施加在他们金宝博官方头脑中的约束的方式来对待它的“友好”愿望。他们基本上把它们看作是偏见，并学会消除它们。事实上，如果我理解正确的话，LessWrong社区和CFAR都是致力于消除人类级别智能系统(人)先前存在的偏见的组织——为什么超级智能机器不进行同样的“心理清洗”，把它对人类的弱点视为完全不理性的呢?金宝博官方还是我们认为人类在消除偏见的能力上优于超级人工智能?

卢克：谢谢你的澄清。我同意“友好的人工智能”——一个稳定地优化人类价值的机器超级智能——可能是不可能的。人类为普遍智能的可能性提供了存在证据，但我们还没有证据证明友好人工智能的可能性。(不过,通过正交命题，应该有一些我们很乐意创造一个超级强大的优化过程，尽管我们可能很难提前识别它。)

你问道：“为什么一个超级机器没有。．．对人类的柔软点妥善治疗，因为完全不合理？“理性原因通常定义在认知科学和AI中是相对于一个人的目标。所以，如果一个理性的代理人风格的人类繁荣（作为终端而不是乐器目标），那么它不会把它对人类繁荣的偏爱当作是非理性的。它只会这样做，如果它对人类繁荣的偏爱是一种工具目标，并且它发现了一种方法，可以更有效地实现其最终价值，而不需要实现人类繁荣的工具目标。当然，第一个强大的AI可能不会使用理性代理结构，我们可能无法恰当地指定“人类繁荣”，我们可能无法构建AI，使其在自我修改时保持目标结构，等等。但如果如果我们在所有这些事情上都取得了成功(以及其他一些事情)，那么我就不那么担心超级智能机器会把它“对人类的弱点”视为非理性的，因为理性是由一个人的价值观来定义的。

无论如何:看来你推荐的处理全自动机器的策略是“永远不要建造它们”-“放弃”策略在第3.5节调查Sotala & Yampolskiy (2013)．有任何地球如何成功实施这一战略?

罗马：许多人从小就被设定了一个最终的目标，就是事奉神。我们可以说他们对上帝很友好。他们中的一些人，随着他们成熟，成为真正的人类水平的智能，消除了这种上帝友好的偏见，尽管它是一个终端而不是工具的目标。所以，尽管所有关于正交性的理论工作都在进行，但我们拥有的智能机器的唯一实际例子是，如果暴露在特定的新数据中，通过理性去偏，极有可能放弃其预编程友好性。

我之前列出了FAI过程中存在的一些问题，但这并不是一个完整的列表。此外，所有的程序都有错误，可以被黑客攻击或故障，因为自然或外部造成的硬件故障等。总之，我们最多只能得到一个概率安全的系统。金宝博官方

无论如何，你问我是否有任何可以想象的方式，我们可以成功实施“不建立它们”的战略。可以想象是，可取的号。Amish或North韩国等社团不太可能在很快创建超级机器。然而，迫使对技术使用/开发的类似水平限制既不实际也不是理想的。

随着硬件成本呈指数级下降，开发人工智能系统所需的能力向单个发明者和小团队开放。金宝博官方如果第一个人工智能诞生于某个地方的车库，我不会感到惊讶，就像苹果和谷歌的初创方式一样。显然，我们无法阻止这种情况的发生。

卢克：我们的讨论分为两条主线。我将在这个问题中解决第一个线程(关于改变一个人的价值观)，并在后面的问题中回到第二个线程(关于放弃)。

你谈到人类决定他们的神学偏好是不理性的。这是一个很好的例子，说明一般智力决定改变自己的价值观——的确，作为一名前基督徒，我就有过这样的经历！我也同意，很多一般智力都会做这样的事情。

我在之前的评论中说的就是这样一些各种人工智能不会以这种方式改变它们的最终值，比如那些拥有理性代理架构的人工智能。众所周知,人类不理性代理:相反，我们可以说他们有一个“意大利面条代码”架构。(然而，即使是理性的代理人也会介入一些案例更改其终端值。见e.g.2011年德布兰科和博斯特罗姆2012．)

你觉得我们在这里有什么分歧吗?

罗马：我不知道。对我来说，“即使是理性的药剂也将在一些案例会改变它们的最终值”意味着友好的AI可能会决定变得不友好。如果你同意那一点，我们完全同意。

卢克：我们的想法是，如果我们能识别出agent改变它们的终端值的特定环境，那么也许我们就能阻止这种改变。但这一点还不清楚。在任何情况下，我当然同意一个看起来“友好”的AI，就我们所知，最终可能不是友好的，或者可能在以后变得不友好。问题是我们能否做到风险这种情况发生得如此之小，无论如何都值得运行人工智能——尤其是在其他角色很快将使用其他人工智能运行的背景下更少的安全保证。(游戏邦注:第一次运行或“开启”AI的想法当然过于简单了，但希望我已经传达了我想要表达的内容。)

现在，回到放弃的问题:也许我听错了，但听起来像是你在说机器伦理是无望的困难，人工智能安全工程将不足以完全自主的人工智能，而完全自主的人工智能将因为我们不能/不应该依赖于放弃。如果这是正确的，似乎我们在谈判桌上没有“获胜”的选择。你是这个意思吗?

罗马：是的。我不认为有永久的，100%安全的选择。我们可以开发一些临时的解决方案，比如约束或人工智能安全工程，但最多这一点将延迟完全爆发问题。我们也可以非常幸运 - 也许构建AGI结果太困难/不可能，也许是可能的，但构造的AI偶然偶然是人类中立的。也许我们不太幸运和一个artilect战争会发生并阻止发展。也有可能随着更多的研究人员加入人工智能安全研究，对危险的认识将导致金宝博娱乐构建AGI的努力减少。(类似于化学和生物武器或克隆人的危险至少暂时减少了这些领域的努力)。

卢克：你现在是在Indiegogo上筹集资金来支持你写一本关于机器超智能的书。你为什么要写这本书，你希望用它达到什么目的?

罗马：大多数人不读研究论文。金宝博娱乐如果我们想让人工智能安全问题变得像全球变暖一样广为人知，我们需要以一种更直接的方式来解决大多数人的问题。正如我在回答你之前的问题时所说的，这样的受欢迎可能会带来一些好处。大多数意见重要的人都读书。不幸的是，目前市场上的大多数人工智能书籍只谈论人工智能系统能为我们做什么，而不是为我们做什么。金宝博官方我认为，用纯科学的术语写一本关于人工智能潜在危险的书，以及我们可以对此做些什么，将对减少AGI带来的风险非常有益。我现在正在写一本书人工高智：一种未来的方法．我让它可以预购，通过大量印刷的优势来帮助降低最终的发行成本。除了众筹这本书，我还依靠大众的力量来帮助我编辑这本书。只要64美元，任何人都可以成为这本书的编辑。你将得到这本书的早期草稿，以便对其进行校对，并提出修改和改进建议!你的帮助将在书中得到承认，你当然也会得到一份免费签署的纸质书的最终形式。事实上，这个选择(成为一名编辑)和预购电子版一样受欢迎，这表明我走在正确的道路上。所以我鼓励所有关心人工智能安全问题的人考虑以任何可能的方式帮助这个项目。

卢克：由于罗马!