Armando Tacchella谈未来人工智能系统的安全性金宝博官方

路加福音Muehlhauser：我的摘要安全关键系统的透明度金宝博官方是:

黑盒测试可以提供一些系统将按照预期运行的信心，但是如果一个系统是这样构建的，它对人类的检查是透明的，那么可金宝博官方以使用其他的可靠性验证方法。不幸的是，许多人工智能最有用的方法都是最不透明的。基于逻辑的系统通常比统计金宝博官方方法更透明，但统计方法使用得更广泛。这个普遍规律也有例外，一些人正在努力使统计方法更加透明。

最后一句适用于a2009纸你与卢卡Pulina，其中你展示了一个训练有素的多层感知器(MLP)的行为的正式保证。你能不能大致解释一下这是如何运作的，以及你能证明什么类型的担保?

阿曼德Tacchella：训练有素的MLP只是一个数学函数，原则上，它的属性可以在处理实数和解释的线性函数的逻辑中验证。然而，有用的MLPS，即使是我们撰写纸张中考虑的单个隐藏层，也可以在其“激活”单位（例如，逻辑或双曲线切线）中使用非线性超越功能。任何具有此类功能处理的逻辑语言必然会有一个不可解除的决策问题 - 对于讨论，请参阅介绍这篇论文．

因此，我们建立MLP安全性的方法是基于一个抽象-细化范式，通过使用一些属性可确定的过度近似从“具体”MLP中获得一个“抽象”MLP。这是一种技巧由P. Cousot和R. Cousot介绍一段时间以前和最近开发了模型检测社区尝试验证其属性不可解除的系统。金宝博官方

如果发现抽象的MLP满足属性，那么也是混凝土的那样。否则，我们获取“抽象”ConnerErexample，即，一组违反抽象MLP中属性的输入。

如果在混凝土MLP中发现输入的集合违反了属性，则混凝土MLP是错误的，必须进行修复。另一方面，如果在提供抽象反例时，具体的MLP可以很好地工作，那么这样的反例就是“伪的”，这意味着它是抽象的工件，因为太粗糙而无法使用。

抽象因此被“细化”了，也就是说，变得不那么粗糙了，可能检查的代价更高了，并且流程迭代，直到MLP被证明是安全的，或者流程耗尽了可用的资源。

显然，抽象细化不能解决最初的不可判定问题，因为可能总是存在由虚假反例导致的无限细化链。然而，在实践中，我们常常能够通过合理数量的改进来确定财产的有效性。

在本文中，我们将上述方法实例化到单个隐层mlp的具体情况普遍接近者在一些合理的条件下，我们保证。特别是:

1. We abstract MLPs to corresponding “interval functions”, i.e., if the MLP is y = f(x) then the abstract one is [y] = F([x]), where “F” is the interval function corresponding to “f”.
2. 我们考虑一个“安全属性”，即，如果[x]包含在f的输入范围内，那么[y]将包含在l < h(“安全界”)的某个区间[l,h]内。
3. 我们使用实际线性算术的决策程序证明F上的财产，例如，可满足的模算法（SMT）求解器。如果属性适用于f，即f的f的所有[x]，我们将包含f（[x]）包含在[l，h]中，那么f的情况也是如此。

如果找到反例，则存在一个区间[x]，使得F([x])不包含在[l,h]中。我们考虑[x]中包含的任意x，并尝试对应的f(x)来检查f(x)是否在[l,h]中。如果找到一个，那么f是有问题的，必须修复。否则，反例是假的，因此我们从步骤(1)开始进行更细粒度的细化。

最后，如果MLP f通过了我们的测试，我们就可以保证无论它接收到什么输入，它都不会超过它的最小和最大预期输出值的“规范”。

路加福音:你认为正式的方法在哪些方面有助于“解释”MLP，并使其对人类程序员更透明?

阿曼德这个问题的答案很大程度上取决于我们所说的“解释”是什么意思。

如果我们所说的“解释”是指，使用我们的验证方法，神经网络用户现在能够清楚地理解哪个“推理规则”是由哪个神经元(或一组神经元)实现的，那么我们的方法在这个方向上没有提供任何进一步的见解。

然而，如果我们寻找“行为解释”，那么，我们在论文中提出的技术，至少在两个方面有帮助:

• 对原始训练的神经网络进行形式化分析，使网络用户能够确定其行为是否符合规范。当情况并非如此时，用户将得到一组反例，以帮助她确定不当行为的原因。确实，通过仔细阅读验证输出，用户了解了网络输入/输出空间中的“故障点”，这反过来将使他能够改进他的原始设计(例如，通过收集这些点周围的更多实验证据)。
• 由于神经网络不是“经典”软件——尽管从正式的角度来看，我们完全是这样对待它的——用户可能无法轻易地使用反例“修复”网络。我们的“修复”程序可以通过使用“伪”反例的结果进行控制训练，帮助以自动化的方式修复网络。如果要通过网络金宝博官方学习的系统可以用于实验，我们的修复过程也可以利用实际反例的结果(一种“主动学习”的形式)。

从技术上讲，修复将网络暴露在“过拟合”输入数据的危险中，即当考虑多个不同的数据集时，网络性能的方差非常高。然而，我们控制了这种可能性，但在我们的实验中从未发生过。

路加福音在我们采访之前，你写信给我说:

除非我们能够(以令人信服的方式)证明机器人对环境无害，否则我非常怀疑我们会在周围看到任何具有强自主能力的机器人……

由于我不期望仅凭“施工正确”和“使用证明”的理念(我们用来建造飞机的那些理念)就能实现安全、强大的自治，我希望形式分析在机器人中比在其他任何实现中都更重要。

你的意思是，尽管有巨大的经济和军事动机去制造越来越强大的机器，而不是等待与安全相关的能力赶上，公司和政府事实上没有首先确保我们对它们的安全性有信心，就像我们目前对自动驾驶软件(例如自动驾驶软件)所需要的那样，不将强大的自主程序和机器人发布到“现实世界”?

阿曼德：工程师非常了解你正在谈论的那种压力，事实上，如果我们考虑任何“恐怖故事”目录 - 请参阅例如软件的恐怖故事为100多起案件相关只有到软件工程——我们不能排除当自主机器人进入市场时发生一些糟糕事情的可能性。

对于自主性相对较弱或对周围环境造成严重伤害的概率相对较低的机器人，事故也可能是机器人制造商不愿投入大量精力将其完全消除的一种权衡。在这些情况下，我希望传统的风险分析和工程最佳实践能够战胜向精确验证方法的重大转变。

对于拥有强大自治的机器人，和这是一个不可忽视的对环境造成严重危害的潜在因素，我相信，对传统工程实践的强化和在他们无法真正处理的领域采用它们将有一个强大的威慑。

为了使讨论更具体，让我们假设谷歌制造的自动驾驶汽车将作为一种产品销售，比如，手机。船运公司现在可以购买这样的车队，并将其运送出去无人驾驶把包裹送到客户家门口。从技术上讲，这在今天是可行的，但我们不会很快看到这种情况发生。原因有几个，但让我提几个我认为重要的:

• 合乎道德的。我们真的想让机器达到它所能达到的水平吗自主决定，例如，撞倒一个行人?此外，自动驾驶仪可能会失败并导致人员死亡，但这显然不是自动驾驶仪的“意愿”。
• 技术的。我们可以确保如果没有运营商准备按“紧急停止”汽车永远不会以危险的方式表现？飞机由非常良好的训练有素的官员运营，如果自动驾驶仪在自动驾驶仪中出现任何问题，他们总是可以“去手动”。
• 经济。即使我们有确保安全的技术，它是划算的吗?目前，飞机制造商可以通过标准的工程实践(例如，冗余、压力测试、预防性维护)，确保自动驾驶仪在他们的操作要求范围内的成本效益。
• 合法的。如果自动驾驶汽车发生事故，谁承担责任?如果产品涉及更多的法律实体，比如汽车制造商、系统集成商、“人工智能”供应商、运营商(假设有现场配置)，这个问题就会变得特别麻烦。金宝博官方

回到我最初的声明正式的方法在机器人的重要性,我希望脆现象的理解管理自主机器人的“大脑”及其相互作用的“身体”和周围的环境,是非常重要的,如果我们希望以令人满意的方式解决以上问题。

路加福音：莱维特(1999)他认为，随着智能系统变得越来越自主，并在越来越不确定的金宝博官方、未知的环境中运行，完全用控制理论等工具来建模它们的环境和可能的行为是不可能的:

如果要让机器人有更广泛的用途，它们将需要在没有人类干预的情况下在户外、道路上以及正常的工业和住宅环境中运行，在这些环境中，不可预知的事件经常发生。当机器人遇到意想不到的事件或模糊的感知时，停止机器人的动作是不现实的，甚至是不安全的。

目前，商用机器人主要通过控制理论反馈来决定它们的动作。控制理论的算法要求，世界上可能发生的事情可以在软件程序中体现的模型中表示，这些软件程序允许机器人对任何与任务相关的视觉事件预先确定适当的行动响应。当机器人在开放的、不受控制的环境中使用时，将不可能为机器人提供先天的所有可能发生的物体和动态事件的模型。

为了决定对世界上未建模的、意想不到的或解释模糊的事件采取什么行动，机器人将需要在受控反馈响应之外增强处理能力，并参与决策过程。

因此，他认为，自主程序最终需要是决策理论的。

你对这个预测怎么看?总的来说，你认为哪些工具和方法最能保证未来高度自治系统的高安全性?金宝博官方

阿曼德我同意Levitt的观点，他说“控制理论”不能单独处理强自主的机器人。这也激发了关于机器人和自动化的形式方法的研究(参见，例如，金宝博娱乐机器人学和自动化的形式化方法研讨会最近关于这个主题的事件)。

然而，在机器人执行任务时，“参与决策理论过程”可能会带来挑战——至少可以说——计算问题。事实上，众所周知，即使是简单的事实，即布尔推理，也可能需要指数时间来进行。由于我们预期现实会比简单的0/1证据复杂得多，因此机器人被赋予的每一个“逻辑”推理都将是计算上的困难。

即使假设具有强大的启发式和/或近似方法，这个问题仍然由于决策过程中的实时需求而变得困难。事实上，机器人可能不会花很长时间来计划它的行动路线，而且在许多情况下，响应时间的高偏差也是不可接受的。

与此同时，确保一个强自主机器人只使用离线验证就能保持安全，也可能不会发生。这是因为计算问题(组合状态空间爆炸，处理时间/空间/概率的表达逻辑的不可判定性)，但也因为，在控制理论中，机器人运行时将出现的大多数情况都很难界定。

在我看来，我们可能会看到几种方法的结合，包括:

• “施工纠偏”的设计与实施
• 设计和实施阶段的正式验证和测试
• 机器人执行时的轻量级推理

执行过程中的推理很可能是“自我反思”的，比如采用高效的监视器，可以在设计过程中自动合成，然后部署在机器人上，以确保在任何时候都满足特定的安全条件，而不需要“深度”逻辑推理的负担。

最后，实际的机器人可能需要“顺从”人类，不仅在认知/推理能力上，而且在结构上(参见，例如，“软机器人”的最新进展)．“柔顺”的结构将提高安全性和/或将使机器人的安全性更容易，因为通过使用创新的材料和电子设备可以实现一些“内在安全”。换句话说，我们不应该担心一个“安全的心灵”，但我们必须保留一个更安全的“思维”需要更安全的“身体”的原则。

路加福音：有时候我喜欢区分“自下而上”与“自上而下”对长期AI安全挑战的挑战 - 即挑战，以确保我们能够继续为AI系统实现自信的安全保障金宝博官方成长自主性和能力。

“自下而上”的长期人工智能安全方法建立在现有方法的基础上，以实现对当今有限系统的自信安全保障。金宝博官方“自上而下”的方法首先尝试想象我们几十年后的人工智能系统的能力，然后用这些猜测来指导今天的研究。金宝博娱乐金宝博官方

我会将你以前的问题的回应描述为关于长期AI安全的“自下而上”的视角，我认为这是大多数人对AI安全工作的看法。为了说明我的意思是“自上而下”对长期AI安全的方法，我将提供三个例子：（1）兰普森(1979)“禁闭问题”的理论描述，激励了这个领域的创造秘密渠道沟通．（2）《奥索与指环》(2012)在强化学习和其他人工智能模型中，这通常被用作一种简化的假设。我希望，这将激励未来对更“自然主义”人工智能模型的研究，这些模型将避免人工智能推理中有问题的“笛卡尔”错误。金宝博娱乐（3）韦弗(2013)我希望，这将推动以后的研究，即未来基于自我修改agent的人工智能如何能够连贯地推理修改其自身决策代码的后果。金宝博娱乐

即使你还不熟悉这些例子，你对长期人工智能安全的“自上而下”方法有什么看法?它们应该(或不应该)如何影响今天的研究工作?金宝博娱乐

阿曼德事实上，我对你所引用的参考资料并不熟悉，但我可以看出，他们肯定比我之前所建议的要“有远见”得多。由于我的背景是工程，我必须承认，您对“自下而上”观点的定义是有偏见的，或者我对它们的定义是简单的“简化主义者”和“实用主义者”。

你的引用使我想起了一篇论文Weld和Etzioni著．我经常在我的作品中引用本文，因为在我看来，它有了提高AI社区关注水平的“释放”在物理世界中的自主代理的关注程度。本文的内容虽然略有过时，但仍然可以为安全ai的当前研究提供一些有用的准则和词汇，（至少他们为我做了）。金宝博娱乐虽然我会想象的那种纸张不是那种纸张，但我相信这种猜测是为了为更具切实的成就做准备。

另一方面，如果我们要在现实世界中追求机器人更强的自主性，那么我们可能应该非常务实地考虑我们可以用现有技术做什么，以确保任何时候的安全。虽然未来技术的进步有可能使“决策理论”的代理在移动机器人的资源约束下成为可能，但目前的技术使之成为可能，例如自动驾驶汽车。因此，如果我们想让这类机器人在未来几年内成为产品，我认为我们应该集中研究如何利用当前的科技发展，让它们变得值得信赖。金宝博娱乐

路加福音:除此之外，你还有其他的读物推荐吗Weld & Etzioni (1994)在长期的人工智能安全问题上?

阿曼德: Weld和Etzioni在他们的论文中回到了安全人工智能的主题。互联网上的智能代理：事实，小说和预测”

艾希曼在他的"道德web代理”。

我在戈登的一系列论文中发现了Etzioni和Weld的《召唤武器》，我认为Asimovian自适应代理作为最相关的问题。

我刚刚偶然发现（但仍然没有机会彻底阅读）威廉的相对较近的书籍“与人工伴侣的密切合作：关键的社会，心理，道德和设计问题”（点击这里查看评论)．这本书有时似乎有争议，但它确实包含了许多关于人工同伴的不同观点，它也提出了一些问题，我们在设计物理位置代理时可能应该记住这些问题。

最后，为了了解机器人领域正在进行的具体项目，在这些项目中，安全性被认为是一个突出的价值和基本的挑战，这个网站列出了许多有趣的最新发展和进一步研究的想法。金宝博娱乐

路加福音:谢谢,阿曼德!