约翰·里奇威介绍安全关键系统金宝博官方

路加福音Muehlhauser您对安全工程的专业知识和兴趣是什么?

约翰Ridgway如我不是专家，也不想冒充专家。相反，我是一个卑微的从业者，一个退休的从业者。我接受的是物理学教育，我的职业生涯始于软件工程师，最终在英国瑟科运输系统公司(Serco Transportation Systems, UK)担任高级职位，在那里我负责确保建立和实施旨在促进和证明计算机化系统完整性的流程。金宝博官方有关系统金宝博官方(道路交通管理系统)最初并不被认为与安全有关，因此交付的产品缺乏完整性被认为只具有商业或政治意义。然而，随着英国公路管理局采购部门安全政策的改变，我认识到，如果我的组织继续作为一个批准的供应商，文化的改变将是必要的。

如果有任何合法性造成这个论坛,那就是:安全已经成为一个问题,之前我一直觉得医生的平均记录管理的风险将大大受益于一个更紧密的兴趣(有些人可能认为是哲学问题。事实上，多年来，我逐渐相信，阻碍软件工程发展为成熟的工程学科(让我们说与土木或机械工程同等重要)的许多因素，其根源在于未能公开地解决此类问题。我相信同样的道理也适用于功能安全工程。问题的核心在于由术语“不确定性”、“机会”和“风险”所概括的概念框架，所有这些术语似乎都被实践者视为直觉，但事实上，它们都不是。这不是一个学术上的关注，因为不能正确地理解这个概念框架的更深层次的意义可能，也确实会导致实践者走向判断错误。如果我再加上指控,从业者习惯性地欣赏到他们的合理性受到认知偏见,那么我觉得有足够的理由坚持他们更加注意什么在学术界和研究机构,金宝博娱乐特别是在认知科学，决策理论，甚至是神经科学领域。这至少成了我的工作准则。

路加福音您认为您关注哲学和认知科学与安全工程的相关性的根源是什么?比如，你学过哲学吗，或者卡尼曼和特沃斯基在大学吗?

约翰作为一名物理系学生，我几乎没有机会(老实说也没有什么抱负)去接受哲学教育。当然，量子力学确实嘲弄了我所珍视的，存在着未被观察到的客观现实的信念，但我非常喜欢‘我知道这毫无意义，但还是闭嘴，继续计算吧学校的练习。事实上，直到我成为一名兼职软件工程师，研究软件度量的使用以预测开发时间表，哲学问题才开始具有职业重要性。

我所在部门的实践是对任务持续时间使用单点估计，然后将这些数字和任务依赖关系输入甘特图，并简单地使用甘特图来读取预测的项目结束日期。有时结果非常令人印象深刻:预测的项目结束日期往往被证明是在正确的十年!这时，一个明亮的火花说，你生活在黑暗时代。你需要对每个任务的持续时间进行三点估算(即估算最可能的持续时间以及上限和下限)。然后使用蒙特卡洛模拟创建项目产出曲线;表示可能的项目工期的统计分布的曲线。现在每个人都这样做。碰巧我有一个昂贵的风险管理工具可以帮你做所有烦人的计算”。当我告诉他我仍然认为旧的方法更好时，想象一下他厌恶的表情!

他是在跟一个自以为是的白痴说话吗?我想没有。我反对的理由是:作为一名物理学家，我很清楚在固态和核物理等领域使用蒙特卡罗模拟的好处。这里它被用来确定一个物理系统的宏观行为，其中概率分布曲线可以用来模拟正在研究的系统的微观行为的随机变异性。金宝博官方然而，现在，我被邀请使用蒙特卡罗方法来得出结论，基于对不同水平的假定(而且绝对是非随机的)对未来的无知的平均。在这种情况下，没有人能给我一个令人信服的理由来决定模拟所基于的概率分布曲线的最合适形式。事实上，我被告知这个选择并不重要，尽管很明显它很重要。如果现实的分布曲线有一个肥尾(看起来很有可能)，那么曲线的选择将极大地影响结果。此外，额外的两个估计(即任务持续时间的上限和下限)被认为代表了一个不确定性水平，但他们选择背后的不确定性至少与这些界限被认为代表的不确定性的数量级相同。换句话说，一个人根本无法确定自己有多么不确定! It occurred to me that no real information was being added to the risk model by using these three-point estimates, and so no amount of Monte Carlo Simulation would help matters.

这让我对不确定性的本质及其与风险之间微妙关系产生了哲学思考。这些思考有潜在的实用价值，因为我认为很多人花费了大量的时间和金钱，使用了不恰当的技术，让自己对预测的可靠性有了错误的信心。不幸的是，我的同事中似乎没有一个人认同我的担忧，我所能做的就是在含糊地谈论二阶不确定性、模型熵以及可变性和不确定性之间的重要区别时，挥手示意并试图说服他们。所以我认为我的教育中有一个空白需要填补。

事实是，我的调查很快使我进入了教授诺曼·芬顿伦敦玛丽女王大学的教授，我熟悉了诸如主观概率、认知与任意不确定性等概念。此外，一旦主观性被置于舞台中心，认知科学的相关性就显得很大，尽管我不能声称自己研究过Tversky和Kahneman，但我已经熟悉了与决策理论相关的想法，这些想法的存在都是由于他们的工作。

突然间，我的职业生涯似乎变得有趣多了。而当我转向安全工程时，同样的问题再次以过度设计的故障树图的形式出现，这些故障树图充满了由“专家”意见确定的概率值。现在看来，更重要的是，实践者应该更深入地思考他们自信地宣称风险的哲学和心理学基础。

路加福音在您为安全关键系统俱乐部(SCSC)的通讯所写的许多文章中，您简要地讨论了哲学和认知科学的问题，以及它金宝博官方们与安全关键系统的相关性。1，2，3.，4，5，6）.在您从事安全工程项目的过程中，您的同事对此类讨论有多大兴趣?他们中的许多人已经对这些问题非常熟悉了吗?概率和风险哲学，以及认知科学(例如启发式和偏见)，似乎是那些工作安全工程的标准培训的一部分吗——至少，在你遇到的人当中?

约翰例也许我的经历不是典型的，但可悲的事实是，我发现要说服我的任何同事对这类事情有共同的兴趣是极其困难的，我发现这加倍令人沮丧。首先，我认为我的同事错过了一个机会，因为我确信这些想法的应用将会对他们的专业有利。他们的胆怯在某种程度上是可以理解的，因为提供给他们的职业训练中并没有暗示哲学或心理学的重要性。然而，真正让我沮丧的是，似乎没有人对将这些主题引入职场的前景感到兴奋。这怎么可能呢?我的同事们怎么会完全着迷呢?事实上，对我来说，他们缺乏兴趣似乎代表着他们肆意拒绝享受他们的工作!

当然，问题的关键在于我的雇主提供的培训，而提供这种培训的内部部门却被冠以“最佳实践中心”的名号，这对我毫无帮助。显然，我要说的任何与公司赞同的观点不同的东西，从定义上来说，都算不上最好!我很快发现，指责该中心的风险管理课程未能探索不确定性的概念，如果有什么不同的话，会适得其反。经过反思，我认为其中一些挫折促使我寻求另一个论坛，以便表达我的想法。为安全关键系统俱乐部的通讯发表文章提供了这样一个渠道。金宝博官方

路加福音你说你“确信应用这些想法会对他们的专业有利”。你能给我一些理由和/或例子，为什么你认为这是肯定的吗?

约翰我认为我的担忧是由于我所从事的行业似乎过多地用频繁的术语来看待世界，在这种术语中，随机不确定性的假设是有效的。在现实中，越来越多的情况是，系统安全工程师必须分析的风险主要是基于认知的不确定性。金宝博官方我特别提到了与基于软件的复杂系统、自适应系统和所谓的系统中的系统(SoS)相关的安全风险，或者任何以新颖或内在不可预测的方式与其环境交互的系统。金宝博官方虽然分析物理部件的随机故障确实可能在预测系统故障中发挥重要作用，但这种分析中涉及的概率技术根本不能解决认知问题，即任何假定的概率分布曲线的参数可能是纯粹的猜测问题。金宝博官方(我知道蒙特卡罗模拟有时被用于概率模型中的参数不确定性的概率模型，但这让我感到绝望的行为，让人想起了在本轮之上发明本轮来支持托勒密宇宙论)。

对于安全分析师来说，有许多适合的方法，它们寻求容纳认知的不确定性(仅举三例，即贝叶斯方法、可能性理论和登普斯特-谢弗方法)。然而，当从业者甚至没有意识到问题的存在，并继续假设所有可能性的客观性时，这些方法将吸引他们应得的注意的希望很小。

然后，当然，我们必须考虑认知偏差对分析师的可能性评估的有害影响。这是这种偏见的本质，个人没有意识到它们的影响。当然，因此，即使是这方面最基本的训练也会对从业者有相当大的好处。在一个类似的主题上，我开始担心，一般的安全分析师没有充分注意到风险厌恶和模糊厌恶之间的区别。这可能导致人们无法充分理解某个特定决策背后的合理性，但这也可能解释了为什么我的同事们似乎没有意识到在风险管理的同时进行不确定性管理的重要性。

最后，当考虑到风险之间的相互联系，以及多方利益相关者带来的复杂性时，如果不解决与风险转移、优化和满足相关的伦理问题，就很难考虑风险管理战略。但也许那是另一个故事了。

路加福音是的，你能谈谈“与风险转移、优化和满足相关的道德问题”吗?

约翰:在英国的健康和安全立法中，有义务“在合理可行的情况下”降低现有的风险水平(SFAIRP)。这就产生了剩余风险是“在合理可行范围内尽可能低”的想法(ALARP）.ALARP的概念假设可以定义一个上限，超过这个上限的风险被认为是“不可容忍的”。此外，还有一个下限，低于这个下限的风险被认为是“广泛可接受的”。只要能够证明进一步减少将需要不成比例的费用和努力，就可以允许风险存在于这两个限度之间。除了这里使用的术语含糊不清之外，这种观点的主要问题是，它没有说明一种风险的管理可能会影响到另一种风险的规模。实际上，我们可以设想一个相互关联的风险网络，在这个网络中，这种连锁效应将传播，导致风险的净水平增加(记住，传播可能包括正反馈和负反馈循环)。因此，存在全局至少等效(GALE)原则，该原则认为，在修改系统时，必须评估系统造成的整体风险水平，而不是仅仅关注修改旨在解决的风险。金宝博官方当然，我们的想法是，整体关卡不应该增加。

到目前为止，这些都是非常基本的风险管理理论，从表面上看，ALARP和GALE原则似乎是相辅相成的。但他们总是这样吗?好吧，在一个简单的案例中，所有的风险都由一个权威机构拥有和管理，这可能是情况。但是，如果考虑的各种风险有不同的所有者和利益相关者怎么办?在这种情况下，承担风险并寻求降低风险的各方SFAIRP可能会发现自己与彼此、与各种利益相关者以及与任何可能存在的机构发生冲突，以确保全球风险水平不会增加。

也许我们现在是在博弈论的领域，而不是决策理论。如果是这样，那么坚持游戏应该遵循道德约束似乎是合理的，但是否有人声明过这些约束是什么?一些是显而易见的;例如，永远不要在没有对方的知情和同意的情况下将风险转移给另一方。其他的可能就没这么简单了。我想我们都很熟悉信号员的老调，他可以通过改变点来防止失控的火车撞向一群小学生，但只能导致火车司机死亡。信号员有杀人的道德权威吗?不管他或她是否改变了观点，这算谋杀吗?如果我们觉得这个问题难以回答，那么在决定与风险集体管理相关的道德框架时，我们很容易设想类似的困难。

路加福音:您最希望对关键安全系统行业做出哪些改变?金宝博官方

约翰:我认为，使一个适当构建的专业机构的成员资格成为承担关键系统安全工程角色的法律必要性有很多可说的。金宝博官方成员资格将需要表明特定水平的能力，遵守已制定的行为守则，并采用适当的意识形态。鉴于我对前面问题的回答，您的读者可能不会感到惊讶，我希望这将提供一个机会，促进更深入地理解术语“风险”和“不确定性”背后的概念框架。特别是，我希望看到系统安全工程的哲学、伦理和认知方面的专业推广。金宝博官方

我很欣赏各种工程学科已经被许多专业协会很好地服务，例如，在英国的独立安全评估(ISA)将被期望是一个特许工程师和该领域公认的专家(无论那意味着什么)。然而，围绕着基于计算机的复杂系统的开发和应用的认识上的不确定性引入了一些问题，这些问题可能是经常遇到的工程心理可能无法完全理解的。金宝博官方安全工程专业人员可能需要像律师一样思考。因此，我正在寻找的专业机构可以模仿法律专业，就像现有的工程专业一样。我知道对一些人来说，“律师”是一个肮脏的词，但“主观性”在一些工程师的头脑中也是如此。务实一点，为了留在游戏中，我们可能都必须成为诡辩家。

路加福音:谢谢你,约翰!