卢克·穆尔豪瑟（Luke Muehlhauser）：您对安全工程的专业知识和兴趣的本质是什么？

约翰·里奇威（John Ridgway）：我不是专家，我不想以自己的身份转移自己。相反，我是一个谦虚的从业者，也是一个退休的人。在接受过物理学家的教育之后，我从事软件工程师的职业生涯，最终升任英国Serco Transportation Systems的高级职位，在该系统中，我负责确保建立和实施旨在促进和展示完整性的流程的建立和实施金宝博官方计算机系统。金宝博官方最初，有金宝博官方关系统（道路交通管理系统）并不被认为是与安全有关的，因此，交付产品中缺乏完整性的不仅仅是商业或政治意义。但是，在英国公路局采购部门内的安全政策改变了安全政策之后，我认识到，如果要继续作为批准的供应商，我的组织内将需要改变文化。

If there is any legitimacy in my contributing to this forum, it is this: Even before safety had become an issue, I had always felt that the average practitioner’s track record in the management of risk would benefit greatly from taking a closer interest in (what some may deem to be) philosophical issues. Indeed, over the years, I became convinced that many of the factors that have hampered software engineering’s development into a mature engineering discipline (let’s say on a par with civil or mechanical engineering) have at their root, a failure to openly address such issues. I believe the same could also be said with regard to functional safety engineering. The heart of the problem lies in the conceptual framework encapsulated by the terms ‘uncertainty’, ‘chance’ and ‘risk’, all of which appear to be treated by practitioners as intuitive when, in fact, none of them are. This is not an academic concern, since failure to properly apprehend the deeper significance of this conceptual framework can, and does, lead practitioners towards errors of judgement. If I were to add to this the accusation that practitioners habitually fail to appreciate the extent to which their rationality is undermined by cognitive biases, then I feel there is more than enough justification for insisting that they pay more attention to what is going in the world of academia and research organisations, particularly in the fields of cognitive science, decision theory and, indeed, neuroscience. This, at least, became my working precept.

阅读更多 ”

卢克·穆尔豪瑟（Luke Muehlhauser）：在各种文章和演讲中（例如库克2006），您讨论了软件验证，验证和认证（VV＆A）流程。尽管广泛使用了一般过程，但在讨论由国防部5000.61。您能否向DOD 5000.61使用谁，以及如何在实践中使用它？

大卫厨师：DOD 5000.81适用于所有涉及建模和模拟的国防部活动。出于所有实际目的，它适用于DOD使用的所有模型和模拟。这意味着它也适用于用于国防部目的的平民承包商创建的所有模型和模拟。

该指令的目的除了指定谁是“认证权限”（稍后再详细介绍），还需要对所有模型和仿真进行验证和验证，然后要求通过认可的每个模型和仿真，以供其预期使用。。这是关键的部分，因为验证和验证几乎是国防部软件开发的一部分。验证提出了一个问题：“我们是以质量的方式构建系统吗？”或“我们是否构建系统正确吗？”。金宝博官方验证在模型中（以及提供仿真的模型的执行执行）进一步 - 并问“模型构建和仿真结果是否实际上代表了我们构建的系统的概念设计和规格？金宝博官方透明不同之处在于，在模型和仿真中，您必须证明您所设想的系统的设计和规格已正确转换为代码，并且提供给代码的数据也与规范匹配。金宝博官方

验证提出了一个问题：“我们是否建立了满足用户实际需求的系统？”还是“我们建立正确的系统吗？”金宝博官方同样，模型和结果模拟的验证比非M＆S“验证”更为复杂。在建模和仿真中，验证必须证明模型和模拟从预期用途的角度准确地代表了“现实世界”。

当您建立模型并为现实世界中可能不存在的概念系统提供模拟结果时，这两个活动非常困难。金宝博官方例如，很难为载人的火星任务提供V＆V，因为在现实世界中，还没有载人的火星兰德勒！因此，对于名义系统，V＆V可能需要估计和猜测。金宝博官方但是，猜测和估计可能是您能做的最好的！

5000.61进一步要求有一个最终的权限，即“认证机构”，愿意说“基于对该模型的验证和验证，我证明它提供了可用于其预期用途的答案”。同样，如果您要构建一个名义系统，则要求专家说“这些是猜测，但它们是可用的最佳金宝博官方猜测，并且该系统尽可能接近现实世界。我们认可该系统以提供可接受的模拟结金宝博官方果。”例如，如果一个经认可的模拟表明，一架新提议的飞机将能够携带100,000磅的有效载荷 - 但是，一旦建造的飞机只能携带5,000磅，那么认证机构肯定会承担一些责任问题。

实际上，有提供VV＆A的过程。军事标准3022提供了用于录制VV＆A活动的标准模板，许多DOD机构都有自己的VV＆A存储库，其中保留了通用模型和模拟VV＆A工件（以及相关文档）。

实际上，有数百种方法可以验证和验证模型（并且是相关的仿真执行）。V＆V“代理人”（负责执行V＆V）为认证机构提供了建议，列出了可接受的用途，以及（关键部分）模型和仿真的限制。例如，模型和仿真可能在白天在白天（在上层大气中）的激光束传播的准确表示，但由于温度相关的大气传播，在夜间没有有效的模拟。相同的模型和模拟可能是从“平坦表面”中弹起激光的有效预测指标，但不会从不平坦的地形中弹起。

阅读更多 ”

卢克·穆尔豪瑟（Luke Muehlhauser）：在您的某些工作中，例如Bickford＆Constable（2008），您讨论设计程序的“正确构造”和“安全构造”方法。您能解释一下这种方法是什么，以及为什么使用它们？

阅读更多 ”

卢克·穆尔豪瑟（Luke Muehlhauser）：我的摘要安全 - 关键系统的透明度金宝博官方曾是：

黑匣子测试可以提供一些信心，即系统将以预期的方式行事，但是如果构建系统以使其对人类检查是透明的，则可以使用金宝博官方其他可靠性验证方法。不幸的是，AI的许多最有用的方法都是最不透明的。基于逻辑的系统通常比统计金宝博官方方法更透明，但是统计方法更广泛地使用。该一般规则有例外，有些人正在努力使统计方法更加透明。

最后一句话适用于2009年论文您合着卢卡·普林纳（Luca Pulina），在其中您可以正式保证对训练有素的多层感知器（MLP）的行为。您能大致解释它是如何工作的，以及您能够证明什么样的保证？

阅读更多 ”

卢克·穆尔豪瑟（Luke Muehlhauser）：在与斯图尔特·阿姆斯特朗的论文中，”六个小时内永恒，”您根据已知物理学进行了多种计算，并表明“给定某些技术假设，例如改善的自动化，构建戴森球体，设计复制探针并在遥远星系中启动它们的任务变得非常可行。我们广泛分析了这样一个项目的动态，包括减速和与空间中粒子发生碰撞的问题。”

您是根据费米悖论来构建问题的，但是我想从“对于一个基于地球的，基于地球的文明来殖民恒星的角度有多难？”

在第6.3节中。您对结果的鲁棒性发表评论：

在对作者的估计中，关于尘埃间灰尘和火箭能源效率的假设代表了整个设计中最脆弱的部分。这些假设对这些假设的微小变化导致所需的能量和材料的大幅增加（尽管在宇宙时间表上不可行）。如果大颗粒尘埃密度更大，则在没有屏蔽方法的情况下到达本地组的外部将成为问题。

那密度呢内部银河尘？鉴于您的技术假设，您认为从地球上殖民大多数银河系的方式是相当简单的吗？

阅读更多 ”

卢克·穆尔豪瑟（Luke Muehlhauser）： 在Weaver（2013）您讨论了理性机构的一些悖论。您能大致解释这些“悖论”是什么？

尼克·韦弗： 当然。首先，这些是高度违反直觉的意义上的“悖论” - 它们不是完全矛盾的。

它们都与基本的Löbian难度有关，如果您在固定的公理系统中推荐，并且您知道某些语句A在s中是可证明的，那么您通常无法推断出A是正确的。金宝博官方这可能是您和我愿意做出的推论，但是如果您尝试将其构建到形式系统中，那么系统就会变得不一致。金宝博官方因此，对于在指定的公理系统中推荐的理性代理人，知道存在证明并不像实际有证据那样好。金宝博官方

这导致了一些非常令人沮丧的后果。假设我想建造一个太空船，但是首先我需要确保它不会爆炸。我有一个关于如何证明这一点的想法，但这非常乏味，因此我编写了一个程序来弄清楚证明的细节并验证它是否正确。好消息是，当我运行该程序时，它告诉我它能够成功填写细节。坏消息是，我现在知道这艘船不会炸毁，但我仍然不知道这艘船不会炸毁！我将不得不自己检查证明，一行。这是一个完全浪费时间，因为我知道该程序正常运行（我们可以假设我已经证明了这一点），所以我知道逐行验证将要结帐，但我仍然必须这样做。

您可能会说我的编程很差。谁写我的源代码的人应该让我接受“有证据表明船不会炸毁”作为建造船的足够理由。这可以是一般规则：对于任何陈述a，让“存在证明A”许可证所有许可的行动。我们并不与Löb的定理相矛盾 - 我们仍然无法从知道有证据的情况下推断出A，但是我们通过规定知道有足够好的证明是足够好的，而是通过规定来进行技巧。但是仍然有问题。想象一下，我可以证明，如果Riemann假设是真的，那么船就不会炸毁，如果是错误的，则存在证明该船不会炸毁的证据。那我处于我知道的情况任何一个A是真的要么有证据表明A是真实的，但我不知道哪一个。因此，即使有更加自由的许可条件，我仍然无法建立我可爱的宇宙飞船。
阅读更多 ”