David J. Atkinson谈自主系统金宝博官方

卢克·穆罕沃斯：你的一个项目IHMC是“仁爱在自治系统信任中的作用金宝博官方“：

自治系统中近乎无限可能的状态的指数组合复杂性使得传统的验证和验证技术无法适用于复杂系统。金宝博官方新的和健壮的方法来评估自治系统的可信度是迫切需要如果我们要有合理的信心在这类应用程序部署前和操作…提出研究的主要目标是实施仁的概念,因为它适用金宝博官方于一个自治的可信度金宝博娱乐金宝博官方系统……

确保AI系统的理想行为的一些常见方法包括测试、形式化方法、混合控制和简单架构。金宝博官方你对自主系统中“仁心”的研究在模型和方法中处于什么位置?金宝博官方

大卫·j·阿特金森首先，让我指出，测试、形式化方法以及您指出的其他技术与确保理想行为的关系不大，更多的是与避免由于设计或实现缺陷而导致的行为错误有关。它们不相等。现有的技术提高了可靠性，但这只是信任的一个组成部分，它只与“设计好的”行为有关。此外，正如你引用我的材料所指出的，当涉及到自治的近乎无限的状态空间时，那些“共同的方法”本质上是有限的，不能像机器那样对系统行为做出强有力的声明，因为机器的行为包膜可以完全知道。金宝博官方

因此，我选择在自主系统生命周期的操作阶段寻找关于信任，可信赖和可信赖的答案，因为它是在这里，而不是在测试和评估中，在这里，自主行为的全部复杂性将在响应不确定性，动态，金宝博官方现实世界的复杂性是它的主要优势。我的方法是关注人类人际信任对自治系统运行的适用性。金宝博官方这样做的主要原因是:1)自主性是有限的——人类依靠智能主体做出决定，受制于各种个人和情境因素和约束;2)千万年的进化已经在人类身上创造了一种相当好的信任机制。它是人类社会每一项交易的基础，并且起作用。除了可靠性之外，多个学科的研究表明，人们在给机器授予可信度之前，需要能力、可预测性、开放性(也就是透明度)和安全性的证据。关键问题围绕着证据的性质，如何提供，以及可以合理地做出什么样的推论。人们用认知和情感的心理过程来评估可信度。我的核心主张是，如果我们能对这些机制进行逆向工程，并制造出符合人类信任过程(两大假设)的智能自主代理(IATs)，那么我们将创造出一种新的方式，让人类与他们所依赖的机器建立信任关系。 It will be a transition from seeing IATs as tools to treating them as partners.

善行之所以有趣，有几个原因。首先，这是一种复杂的归因，它建立在对另一个人的信念结构之上，包括良好的意愿、能力、可预测性、缺乏隐藏的议程、代理和其他信念，其中大多数很可能在人类和IAT之间的多种互动中发挥作用。其次，仅仅是看看这张信念列表就会让它成为一个难题，尽管我的同事们认为人们会毫无疑问地将代理归于机器。第三，IATs有重要的应用，可能体现为机器人，其中独特的仁爱心理是成功的关键。例如，灾难救援。人们早就知道，灾难受害者有一种独特的心理承受压力，恐惧和这些唤起的心理-生理效应。急救人员接受了受害者心理方面的特殊培训。其中一个原因是，受害者有理由担心自己的生命安全，可能非常不愿意信任救援者，没有信任就没有合作，救援会变得非常困难。仁慈似乎是需要信任的一部分。今天，我们不知道一个真正的灾难受害者是否会信任和合作机器人救援。

回到你关于“适应模型和方法的景观”的问题，我研究的最终目标是制定设计需求、交互方法、操作概念、指导方针等，如果遵循这些，将会产生一个能够本身产生合理的人类信任的IAT。金宝博娱乐

路加福音就像你说的，在我们不知道如何制定全面和理想的设计需求的情况下，形式化方法和其他技术的帮助是有限的，就像在未知的、动态的环境中运行的自动系统的情况一样。金宝博官方你的可靠系统的设计要求是什么?金宝博官方这些是正式的设计需求，还是非正式的?

大卫：今天我们可以做些什么仍然存在差距，了解与未知，动态环境相关的具体要求。我们的目标之一是缩小这些差距，所以可以研究精确的问题。挥动手和呻吟是有关不确定性的一件事，另一件事完全是为了做一些事情。

一般来说，我们正在努力实现传统需求类型的正式规格说明:功能、性能、设计约束和接口(内部和外部)。所谓“正式”，我的意思是“完全符合最佳实践”。我并不是指“用正式的逻辑或基于模型的语言表达”——这是一个突破。需求可以以多种方式相互连接，形成一个有向图(希望没有循环!)关系包括源、需求、依赖等。

例如，一个人类“受托人”的善行需要一个信念(在众多信念中)，即候选人“受托人”(自治系统)“没有隐藏的恶意”。金宝博官方这是一个非常拟人化的概念，有些人可能会嘲笑它，但研究已经证明了它对慈善的重要性，所以它是我们在设计值得信赖和信任的自主系统时必须考虑的一个因素。金宝博官方但这到底是什么意思呢?

只是为了让你了解我们如何破坏这一点，这里有一些派生要求。I should emphasize that it is very premature to make any claims about the quality or completeness of what we done with requirements engineering thus far — mostly that work is on the schedule for next year so I’ll only give you the types and titles: We will have as a matter of course a generic Level 1 Functional requirement to “Provide Information to Human User”. Derived from this is an Interface requirement something like “Volunteer Information: The Autonomous System shall initiate communication and provide information that is import to humans” (actually, that is two requirements). This in turn is elaborated by a number of Design Constraints such as “Disposition: The Autonomous System shall disclose any disposition that could result in harm to the interests of a human”. These Design Constraints are in turn linked to numerous other detailed requirements such as this Performance Requirement “Behavior – Protective: The Autonomous System shall recognize when its behavior could result in harm to the interests of a human”. A designer of an autonomous system will recognize a number of very hard problems in this simple example that need to be solved to effectively address the hypothetical need for a benevolent autonomous system.. Our focus in this project is on “what” needs to be done, not “how” to do it.

毫无疑问，此要求过程将产生大量问题需要进一步研究。一些要求可能会发生冲突，并且任何特殊应用都必须使权衡研究能够优先考虑。尽管如此，我们的目标就是尽可能多地拼出。我们将区分从目标或目标的强制性要求。在可以的情况下，我们将为自治系统架构的特定元素分配要求，例如“目标选择机制”（可能会出现与优先级的问题，并且影响预测性并因此相信）。金宝博官方对于各种要求，我们将提供有关用于研究和经验数据的链接的理由或可用于分析的其他讨论。那部分在我的脑海中是非常高的优先级。我遇到了太多次需要的要求，不可能理解它们是如何得出的。我还想采取风险驱动的要求，以便个人要求或要求组可以与特定的风险相关联。这是必须通过进一步的应用程序特异性分析来量化的另一个区域。 Finally, a good requirement has to be verifiable. There is considerable work to be done on this topic with respect to autonomous systems.

需求工程当然是大量的工作，而大规模系统开发的历史充满了糟糕需求的可怕故事。金宝博官方这就是为什么我想要尽可能正式地按照需求工程标准来表达我们与信任相关的需求。从我以前在NASA的经验来看，我知道一个项目需要做的工作越少，就越有可能采用现有的要求。因此，我们正在有意识地开发与信任相关的需求，其目标是使它们易于理解和易于重用。最后，考虑到所要求的范围，我们很可能只能在当前项目的支持下走这么远，为未来的工作提供一个矢量(提示潜在的赞助商!)

路加福音当前位置从您的描述来看，这个研究项目似乎有点跨学科，其研究方金宝博娱乐法也不如其他许多着眼于类似目标的研究方向那么明确(例如，某个用于机器人技术的软件设计模型检查的新项目)。它几乎是“前范式”，在库恩的意义上。你同意吗?如果没有，是否有其他的研究小组正在使用这种方法来探索相关金宝博娱乐的问题?

大卫是的，这个项目是跨学科的，但主要是社会和认知心理学、社会机器人和人工智能，以及坚实的系统工程带来的严谨。金宝博官方这些学科中的相关内容可以非常广泛。这不是一项小任务。我希望我可以在每个社区中种植一些模因，帮助他们在这个信任的话题上聚集起来，这些模因将促进进一步的工作。就方法而言，我们正在进行理论发展和实验，并试图在这种性质的探索性工作允许的范围内尽可能严格。我们必须了解以往关于人际信任的心理学研究，以及关于人的自动化信任的人的因素研究，才能找到那些可能对智能自主代理的人的信任有重要意义的结果。代理的重要性就是一个很好的例子。

我们从心理学研究中知道，对“自由意志”的归因，或更狭义地说，选择能力，是决定他人是否善意的一个重要组成部分。也就是说，如果一个人觉得对方是被迫帮助的，那么他们就不太可能相信对方是善意的。除了哲学家，大多数人都没有深入思考过这个问题。他们对自由意志做了一个假设然后看看是否有限制自由意志的原因，例如，这个人只是在遵循命令，还是他们的职业或社会规范要求他们以一种特定的方式行事?对于机器，我们从另一方面开始:人们认为机器没有自由意志，因为他们认为机器(只是)被编程了。然而,有一些研究这表明，当机器行为复杂（足够），并且有些不可预测的是因为有许多可能的行动方案，那么人们就会开始归因于精神状态，包括选择的能力。我的亨希是对我们天生的需求的诱发回应，以解释他人在意向性框架中的行为。在某些时候，有足够的特征是那些进化设计的启发式机会努力帮助理解。为什么这可能是，我会留给进化的社会生物学家。

现在回到方法论上来:对于这种现象，我们可以设计一项涉及人类和机器的研究，通过对各种因素的系统性变化，来看看机器实际上需要什么样的品质，才能唤起人类选择帮助的能力。金宝博官方今年我们将进行这样的研究。我希望今年夏天开始参加跑步。我们严格的实验设计，选择什么数据收集和统计方法，我们将使用分析结果。虽然我们会在机器人的实现上蒙混过关一些，比如在地方使用模拟和“wizard-of-oz”技术进行语言交互，但如果我们做得对，这项研究的产品应该被多学科的研究人员视为坚实的科学。金宝博娱乐总的来说，我认为这是一个很难实现的目标，因为每个学科团体在被说服之前，对于他们想在方法论中看到的东西都有特定的偏好和偏见。还有其他几个研究社交机器人的小组使用这种方法，还有少数心理学家研究以人为中心的自动化设计。我不想开始列出名字，因为我确定还有其他人我还不知道。我知道我肯定不是第一个面对这个挑战的人。从某种意义上说，这种类型的多学科研究金宝博娱乐总是“前范式”的，因为它是在独立学科的边界上进行理解和合法性的斗争，而不是在核心领域。 Artificial intelligence has always been multidisciplinary, a strength as well as a weakness as far as more general acceptance among related disciplines. I don’t worry too much about what other people think. I just do what I believe has to be done.

路加福音在未来的5年里，您希望这类研究能取得哪些具体成果?金宝博娱乐

大卫正如一位智者曾经说过的:“预测是很难的，尤其是预测未来。”

我的希望。这一点对我来说很具体，但可能不是你想的那样:我希望我们的方法的价值能够得到令人信服的证明，其他研究团体和早期职业研究人员也会加入进来。金宝博娱乐有很多东西有待探索，有很多机会做出能够产生真正影响的发现。

平衡，似乎在许多潜在的应用领域，最大的挑战是不信任或缺乏信任，而是过度信任。大多数情况下，人们在大多数情况下都没有造成困难的信任机器，因为这有点涉及世代态度，这种情况可能会增加。有时这会导致过度依赖和自满，然后如果事情变得酸味，那么令人惊讶的（和潜在的危险）条件。一个有趣但实际的例子是驾驶员在长长的一条直的高速公路上设置巡航控制，从驾驶员的座位上走出来，然后回来制作三明治。你可以猜出发生了什么。有效的团队合作要求每个团队成员都能理解其他人的优势和局限性，而且不会发生过度依赖。智能，自主队友需要同样的能力在这个基本的团队建设过程中有效地参与 - 一个需要时间和经验来建立相互熟悉程度的过程。我们将为该解决方案做出贡献。

我相信，我们的工作将直接帮助我们理解机器需要在什么时候、为什么、什么以及(部分)如何与人类队友互动，以防止(和/或纠正)对人类的依赖不足和过度。这项技术是解决许多人所说的智能系统缺乏透明度的关键。金宝博官方它将帮助“用户”更好地理解在由动态情景因素、任务和目标组成的给定环境中机器的能力(最重要的质量)。这将反过来增加可预测性(另一个重要的质量)，从而帮助减轻对风险和安全的担忧。最终，一个广泛适用的深层次解决方案将需要更高程度的机器元推理和自我意识，这是我们今天所能设计的，但这是一个积极研究的领域，有用的结果应该会越来越频繁地出现。金宝博娱乐(认知(发展)机器人领域非常令人兴奋。)但是，我确实希望在一些半结构化任务域的早期应用程序中得到具体和有用的结果。包含应用程序“容易实现的目标”的领域示例包括交通运输(例如，自动辅助驾驶、长途卡车运输)、医疗保健(患者监测、治疗援助、辅助生活)和一些与防御相关的应用程序。我的团队正积极地朝着所有这些可能性努力。我不想给大家留下这样的印象，即创建有效的应用程序是很容易的，因为许多艰难的基础研究挑战仍然存在，当我们开始将这项技术转化为现实应用程序时，我们无疑会发现其他挑战。金宝博娱乐 Nevertheless, I’m optimistic!

路加福音:谢谢你,大卫!