Yudkowsky上的“我们现在能做什么?”

||谈话

与Eliezer Yudkowsky谈话的谈话转录。

面试官:假设你正在和一个看起来像那种可能拥有在友好的AI团队中工作所需技能的人的聪明数学家交谈。但是,他说,“我理解AI风险的一般问题,但我只是不相信你可以提前了解,特别是有用的是有用的。您命名的任何问题现在并不是特别可能是从现在开始的30或80年的相关的问题。我们现在所做的任何技术研究都金宝博娱乐取决于对世界的高度联合信念,我们不应该有这么多的信心,我们可以看到这一点进入未来。“你对数学家的回复是什么?

eliezer.:我会首先让他们阅读我们正在研究的特定技术问题的描述,例如“Löb问题”。我现在正在写一个描述。所以我会展示数学家的描述并说“不,这个问题试图拥有一个类似的AI似乎是一个相当根本的一个,而Löb问题会阻挡它。事实上,我们无法弄清楚如何做这些事情 - 甚至给出无限的计算能力 - 令人震惊。“

一个更抽象的论点将是沿线的东西,“你确定同样的思维方式不会阻止你在任何重要问题上工作吗?你确定你不会回到过去,并告诉艾伦,而不是发明制定机器,因为谁知道计算机是否真的工作?他们没有那样的工作。真正的电脑不像形式主义一样工作,但无论如何,图灵的工作很有用。“

面试官:你和我都知道那些非常了解AI风险的人,而是比你今天最好的事情更加不确定性。Maybe there are lots of other promising interventions out there, like pursuing cognitive enhancement, or doing FHI-style research looking for crucial considerations that we haven’t located yet — like Drexler discovering molecular nanotechnology, or Shulman discovering iterated embryo selection for radical intelligence amplification. Or, perhaps we should focus on putting the safety memes out into the AGI community because it’s too early to tell, again, exactly which problems are going to matter, especially if you have a longer AI time horizon. What’s your response to that line of reasoning?

eliezer.:在一小时的元推理之后但不是一年的元推理,无论你的最优先事项都是如此。如果你仍然喜欢,“不,不,我们必须想到更多的元”,然后我不相信你是那种永远行动的人。

例如,保罗·基督教由于保罗正在努力实现实际的FAI问题,因此没有造成这个错误尽管寻找其他有前途的干预措施。我对此没有太大反对。如果他提出了一些特殊的干预,他认为优先考虑更高,我会询问具体情况。

尼克博斯特罗姆也没有犯这个错误。He’s doing lots of meta-strategy work, but he also does work on anthropic probabilities and the parliamentary model for normative uncertainty and other things that are object-level, and he hosts people who like Anders Sandberg who write papers about uploading timelines that are actually relevant to our policy decisions.

当人们不断地说“也许我们应该做一些其他事情,”我会说,“临时决定,开始对临时决定进行行事,并根据需要重新审判这一决定。”但是,如果你是那个总是试图去元的人,只想到元,因为可能有一些更好的东西,你不会实际上做一点事关于这个问题。