新论文:“在大马士革逃避死亡”

||论文

大马士革死里逃生MIRI执行董事Nate Soares和Rutgers/UIUC决策理论家Ben Levinstein有一篇新论文介绍功能决策理论(FDT), MIRI提出的通用决策理论。

这篇题为《大马士革死里逃生,考虑广泛的决策问题。在每一种情况下,苏亚雷斯和莱文斯坦都表明,FDT在效用收益方面优于所有早期的理论。抽象的写着:

证据决策理论和因果决策理论是理性行为理论的主要竞争者,但两者都面临着致命的反例。我们提出了一些新的反例,包括一个最优行动是因果支配的例子。我们还提出了一个新的决策理论,功能决策理论(FDT),它同时解决了两组反例。

FDT代理并不考虑它们的哪些物理行为会产生最佳结果,而是考虑它们的决策函数的哪些输出会产生最佳结果。这一理论依赖于虚拟依赖的概念,即同一个数学函数的多个实现被认为(甚至是反事实的)具有相同的逻辑原因而不是因果原因的结果。考虑到这些虚拟依赖关系,FDT代理可以在准确性预测方面优于CDT和EDT代理。虽然对考虑经典决策理论问题来说不是必要的,但我们注意到FDT的完整规范将需要逻辑反事实和算法相似性的非平凡理论。

“大马士革之死”是一个标准的决策理论困境。在书中,一个值得信赖的预言者(死亡)承诺,无论你是留在大马士革还是逃到阿勒颇,他明天都会找到你,让你丧命。逃到阿勒颇代价高昂,也没有任何好处,因为死神已经预测了你未来的位置,他只会在阿勒颇来找你,而不是大马士革。

尽管如此,因果决策理论往往建议逃到阿勒颇——其原因与它建议一枪毙命的原因大致相同两个囚徒困境个盒子,纽科姆的问题.CDT代理认为死神已经做出了预测,因此转换城市不能导致让死神知道你的新位置。即使CDT代理认识到Death是不可避免的,但CDT代理的决策规则禁止在作出决策时考虑这一事实。因此,CDT代理将很高兴地放弃任意数量的实用程序,以毫无意义地逃离死亡。

因果决策理论在《大马士革之死》、《纽科姆问题》、《孪生囚徒困境》以及论文中描述的“随机硬币”、“奥林匹斯之死”、“小行星”和“谋杀损伤”等困境中都失败了因为它的反事实只追踪其行为对世界的因果影响,而不是世界其他地方的因果(和逻辑等)结构。

证据决策理论在这些困境中取得了成功,但在一个新的决策问题“异或勒索”中却失败了。1FDT一贯优于这两种理论,为已知决策问题的全部范围提供了规范行为的优雅解释。


FDT的基本思想是,一个agent的决策过程可以被认为是一个数学函数。该函数将决策问题中描述的世界状态作为输入,并输出一个动作。

在大马士革之死问题中,FDT人员认识到他们的行动不能导致死亡的预言改变了。然而,死亡和FDT代理在某种意义上计算相同的函数:它们的行为是相关的,就像如果FDT代理回答一个数学问题,死亡可以通过计算相同的数学函数预测FDT代理的答案一样。

这个简单的概念,什么变量取决于我的行为?避免了EDT所依赖的虚假依赖。将决策程序视为多重可实现函数,并不要求我们将相关性与因果关系混为一谈。与此同时,FDT跟踪CDT忽略的现实世界依赖关系,允许它有效地响应比CDT更多样化的决策问题集。

这一决策理论的主要问题是,FDT的依赖概念需要一些“反逻辑”或“反可能”推理的解释。

FDT的规定是,代理将其决策过程视为一个确定性函数,考虑该函数可能具有的各种输出,并选择与最高期望效用结果相关的输出。然而,说一个确定性函数“可能”有不同的输出,这意味着什么?虽然人们可能不确定某个函数的输出,但对于给定的输入,实际上只有一个函数的可能输出。试图在不同的假设下推理一个函数在某些输入上的输出“世界会是什么样子的”,就像试图在集合{1,2,3}中最大的整数的不同假设下推理“世界会是什么样子的”。

在普通的反事实推理中,人们只是想象一个不同的(内在一致的)世界,展示不同的物理事实,但相同的逻辑定律。所需counterpossible推理的说“如果我呆在大马士革,死亡将在这里找到我”以及“如果我去阿勒颇,死亡会找到我”——尽管这些事件中只有一个在逻辑上是可能的,在一个完整规范的决策过程和环境——一个需要想象世界的地方不同的逻辑真理持有。数学家可能会以某种启发式的方式来做这件事,因为他们必须权衡支持或反对不同猜想的证据;但目前还不清楚如何在实践中形式化这种推理。2

是泛函决策理论的继承者永恒的决策理论(第一次讨论2009年),这是MIRI高级研究员Eliezer Yudkow金宝博娱乐sky的一种理论,他犯了观察条件反射的错误。FDT是魏岱理论的概括updateless决策理论3.

我们将在正式的认识论车间这是一个跨学科会议,展示认识论、科学哲学、决策理论、统计学基础和其他领域的成果。4

更新4月7日Nate在随后的对话中更详细地阐述了功能决策理论提出的解释问题:决策是为了让糟糕的结果不一致

更新于2019年11月25日:本文的修订版已被接受哲学杂志.的JPhil版本是在这里,而2017年的少数版本是可用的在这里


注册获取MIRI新技术成果的更新

每次有新的技术论文发表时都得到通知。


  1. 正如苏亚雷斯的《大马士革之死》(Death in Damascus)和莱文斯坦的论文帮助阐明CDT的特定失效点一样,异或勒索比以往的决策问题更准确地揭示了EDT的失效点。特别是,EDT不能被修改以避免XOR讹诈,在吸烟病变问题中,它可以被修改为吸烟。
  2. 逻辑归纳是为数学猜想分配合理概率的方法的一个例子;但是从这里还不清楚如何定义a决策理论这可以计算不一致的预期效用场景.因此,逻辑不确定性下的推理问题不同于定义反逻辑推理的问题。
  3. “UDT”这个名字已经被用来挑选许多不同的想法,包括“UDT 1.0(戴原建议)UDT 1.1”,和各种proof-based决策理论的方法(这是有用的玩具模型,但不是任何主张坚持的决策理论)。

    FDT抓住了这些想法之间的很多共同点(但不是全部),并打算作为一个更一般的总括类别,比UDT作出更少的哲学承诺,更容易解释和沟通。金宝博娱乐MIRI的研究人员确实倾向于持有更多的哲学承诺,这些承诺从决策理论主流(关注无更新性和逻辑先验概率)推断出来,对于这些主流决策理论,UDT的某些变体可能是我们最好的具体理论,但没有一个特定的决策理论模型是完全令人满意的。

  4. 感谢Matthew Graves和Nate Soares帮助起草和编辑这篇文章。