Yudkowsky在逻辑不确定性上

||谈话

与Eliezer Yudkowsky谈话的谈话转录。

面试官:我很乐意在你的“友好AI的开放问题”中澄清一下。Benja Fallenstein的逻辑不确定性问题t与逻辑事物有不确定性,代理人没有足够的计算能力来推断。但是:我听到了一些不同的东西称为“逻辑不确定性问题”。One of them is the “neutrino problem,” that if you’re a Bayesian you shouldn’t be 100% certain that 2 + 2 = 4. Because neutrinos might be screwing with your neurons at the wrong moment, and screw up your beliefs.

eliezer.: 也可以看看如何让我说服2 + 2 = 3

面试官: 确切地。甚至在像概率的系统中金宝博官方贝叶斯网,它的组成部分是演绎,例如,某些部分必须总和到一个概率,并且存在贝叶斯网结构中的其他逻辑假设,并且AI可能想要对那些的不确定性。这就是我称之为“中微子问题”。我不知道你认为的问题是多少,以及你如何与你谈论“逻辑不确定性问题”时如何谈论的事情。

eliezer.:我认为有两个问题。当您在嘈杂的处理器上运行程序时,一个问题出现了,它似乎应该对人类程序员进行充分的冗余运行,并且可以充分检查以驱动误差概率下降到几乎为零。但是,与您可能在推理预期效用的情况下愿意接受概率的结果,减少了效率很多。

然后,这是一个友好的AI行动标准和自我修改的标准的大,打开问题,在将错误概率降至零时,我当前的所有想法都在证明事物的情况下仍然是措辞。But that’s probably not a good long-term solution, because in the long run you’d want some criterion of action, to let the AI copy itself onto not-absolutely-perfect hardware, or hardware that isn’t being run at a redundancy level where we’re trying to drive error probabilities down to 2-64或者什么 - 真的接近0。

面试官:这似乎可能与您经常谈论的事情不同,当您使用“逻辑不确定性问题”时常谈。是对的吗?

eliezer.:当我说“逻辑不确定性”我经常谈论的时候更像是,你认为Peano算术,现在分配了Gödel对Peano算术的陈述的概率。或者您尚未检查过,239,427是素数的概率是多少?

面试官:你在两个问题之间看到了很多关系吗?

eliezer.: 还没有。第二个问题是非常基础的:我们如何近似逻辑事实我们没有逻辑上无能为力?特别是当您对您正在运行的复杂算法具有不确定的逻辑信念时,您正在计算相对于这些复杂算法的自我修改的预期效用。

即使我们正在处理身体不确定性,也会出现你所谓的中微子问题。它来自计算机芯片中的错误。即使在您在可以造成错误的物理计算机芯片中建立自己的副本时,它也会出现逻辑不可用。所以,第二个问题似乎不太重要。可能是他们最终存在同样的问题,但从我可以看到的那样,这并不明显。