与Eliezer Yudkowsky谈话的谈话成绩单。

面试官：我很乐意在你的一个“友好AI中的开放问题”中获得澄清。Benja Fallenstein的逻辑不确定性问题t对于代理商没有足够的计算能力推断出来的逻辑事实，必须对具有不确定性的不确定性。但是：我听到了一些不同的东西称为“逻辑不确定性问题”。One of them is the “neutrino problem,” that if you’re a Bayesian you shouldn’t be 100% certain that 2 + 2 = 4. Because neutrinos might be screwing with your neurons at the wrong moment, and screw up your beliefs.

Eliezer： 也可以看看如何让我说服2 + 2 = 3。

面试官： 确切地。即使在像一个这样的概率系统中金宝博官方贝叶斯网，它的组成部分是演绎的，例如，某些部分必须总和到一个概率，并且存在贝叶斯网结构中的其他逻辑假设，并且AI可能希望对那些的不确定性具有不确定性。这就是我称之为“中微子问题”。我不知道你认为的问题是多少，以及你通常如何谈论当你谈论“逻辑不确定性问题”时如何谈论。

Eliezer: I think there’s two issues. One issue comes up when you’re running programs on noisy processors, and it seems like it should be fairly straightforward for human programmers to run with sufficient redundancy, and do sufficient checks to drive an error probability down to almost zero. But that decreases efficiency a lot compared to the kind of programs you could probably write if you were willing to accept probabilistic outcomes when reasoning about their expected utility.

然后，这是一个友好的AI友好行动标准和自我修改的标准的大问题，在你将错误概率下降到零点后，我目前的所有想法都在证明事物的情况下仍然是措辞。But that’s probably not a good long-term solution, because in the long run you’d want some criterion of action, to let the AI copy itself onto not-absolutely-perfect hardware, or hardware that isn’t being run at a redundancy level where we’re trying to drive error probabilities down to 2^-64或者某事 - 真的接近0。

面试官：这似乎可能与您经常谈论的事情不同，当您使用短语“逻辑不确定性问题”时。那正确吗？

Eliezer：当我说“逻辑不确定性”我经常谈论的时候更像是，你相信Peano算术，现在分配了Gödel对Peano算术的陈述的概率。或者您尚未检查过它，239,427是素数的概率是多少？

面试官：你在两个问题之间看到了大部分关系吗？

Eliezer： 还没有。第二个问题是相当基础的：我们如何近似逻辑事实，我们没有逻辑上无能为力？特别是当您对您正在运行的复杂算法具有不确定的逻辑信念时，您正在计算相对于这些复杂算法的自我修改的预期效用。

What you called the neutrino problem would arise even if we were dealing with physical uncertainty. It comes from errors in the computer chip. It arises even in the presence of logical omniscience when you’re building a copy of yourself in a physical computer chip that can make errors. So, the second problem seems a lot less ineffable. It might be that they end up being the same problem, but that’s not obvious from what I can see.

与Eliezer Yudkowsky谈话的谈话成绩单。

面试官：假设你正在和一个看起来像那种可能拥有友好的AI团队所需技能所需的人的聪明数学家。但是，他说，“我理解AI风险的一般问题，但我只是不相信你可以提前知道，特别是有用的东西。您命名的任何问题现在并不是特别可能是在制定AI时自30或80年相关的那些。我们现在所做的任何技术研究都金宝博娱乐取决于对世界的高度联合信念，我们不应该有这么多信心，我们可以看到这一点进入未来。“你对数学家的回复是什么？

Eliezer：我开始让他们阅读我们正在研究的特定技术问题的描述，例如“Löb问题”。我现在写了一个描述。所以我会展示数学家的描述和说“不，这个问题试图拥有一个类似的AI似乎是一个相当根本的一个，而Löb问题会阻挡它。事实上，我们无法弄清楚如何做这些事情 - 甚至给出无限的计算能力 - 令人震惊。“

一个更抽象的论点将是沿线的，“你确定同样的思维方式不会阻止你在任何重要问题上工作吗？你确定你不会及时退回并告诉艾伦无法发明制作机器，因为谁知道计算机是否真的工作？他们没有这样的工作。真正的计算机不像形式主义一样工作，但无论如何，图灵的工作很有用。“

面试官:你和我都知道很正的人ormed about AI risk, but retain more uncertainty than you do about what the best thing to do about it today is. Maybe there are lots of other promising interventions out there, like pursuing cognitive enhancement, or doing FHI-style research looking for crucial considerations that we haven’t located yet — like Drexler discovering molecular nanotechnology, or Shulman discovering iterated embryo selection for radical intelligence amplification. Or, perhaps we should focus on putting the safety memes out into the AGI community because it’s too early to tell, again, exactly which problems are going to matter, especially if you have a longer AI time horizon. What’s your response to that line of reasoning?

Eliezer：在一小时的元推理之后，无论您的目前的优先事项如何，都不是一年的元标推理。如果你仍然喜欢，“不，不，我们必须思考更多的元”，然后我不相信你是那种永远行动的人。

For example,保罗基督教由于保罗正在努力致力于实际的FAI问题，因此没有造成这个错误尽管寻找其他有前途的干预措施。我对此没有太大反对意见。如果他提出了一些他认为更优先考虑的特定干预，我会询问具体情况。

尼克博斯特罗姆也没有犯这个错误。He’s doing lots of meta-strategy work, but he also does work on anthropic probabilities and the parliamentary model for normative uncertainty and other things that are object-level, and he hosts people who like Anders Sandberg who write papers about uploading timelines that are actually relevant to our policy decisions.

当人们不断地说“也许我们应该做一些其他事情，”我会说“，”临时决定，开始行动临时决定，并根据需要重新审判这一决定。“但是，如果你是一个总是试图去元的人，只想到元，因为可能有一些更好的事情，你永远不会实际上做一点事关于这个问题。