2014年1月16日，Miri会见了Holden Karnofsky，讨论了存在的风险战略。参与者是：
- 以利以谢Yudkowsky(金宝博娱乐MIRI研究员)
- 路加福音Muehlhauser(MIRI执行董事)
- 霍尔顿·卡诺夫斯基(Holden Karnofsky)赠送）
我们对谈话内容进行了录音和转录，然后对录音进行了编辑和改写，以保持清晰、简洁，并保护一些内容的隐私。全文如下在这里（41页）。
以下是Karnofsky撰写的对话的摘要，然后由Muehlhauser和Yudkowsky编辑。摘要以下是Karnofsky所选择的谈话的一些亮点。
参见MIRI和Holden Karnofsky之前的三个对话:onMiri战略， 上透明的研究分析金宝博娱乐,在主要材料的影响．
总结
页1 - 5:
定义一些基本术语，例如未来考虑的假设主导公用事业（“N Lives”假设）。哈顿暂时接受这个假设，以获得论证。
5 - 9页:
讨论如何发挥星殖民的道路可能会发挥作用。
对“存在风险”术语的定义有很大的困惑。霍尔顿进入谈话，这一术语意味着“直接和更加或更低的事件的风险擦除人类，”而埃里策和卢克意味着将它用它意味着任何导致人类急剧下降的任何东西of its potential, including paths that simply involve never succeeding in e.g. space colonization. This confusion took up much of pages 1-9 and was clarified at pages 8-9.
第9-13页:
进一步讨论了星星殖民的路径如何发挥作用。除了围绕人工综合情报的动态外，清晰和重大分歧的方式并不多。
14 - 19页:
Holden认为强调“在不担心与远期的联系的情况下做得好”，这是完善遥远未来的最佳方式。与此同时，他认为全球灾难性风险很可能是慈善事业的有希望的领域，并认为尤其可能会提出与这些建议的建议。
霍尔顿thinks that many of the arguments advanced in favor of focusing on global catastrophic risks are “right for the wrong reasons,” focusing on Pascal’s Mugging type arguments and not sufficiently addressing the question of whether these risks are neglected, and how neglected compared to other areas. Eliezer and Luke agree that addressing this question is crucial (though they are confident that the areas they emphasize as promising are sufficiently neglected to justify this).
霍尔顿想要在确信这些领域相对被忽视之前做更多的调查，但他目前的猜测是它们确实被忽视了。他在一定程度上讨论了为什么GiveWell之前没有关注它们，尽管他怀疑这一点。
页面19-27:
Holden认为向AMF (a)捐款可以通过多种方式使世界对灾难更加鲁棒，如果“对灾难的鲁棒性”真的是最重要的标准的话;(二)如果这项标准并非如此重要，而我们识别长远的主要风险因素的能力基本为零，那是一件好事;(c)帮助GiveWell走上了具有影响力并能够在其他领域开展工作的道路。他相信,好做的数量(a)方面相对小数量的影响人类的未来,人们像以利以谢和卢克寻求,那些认为自己可以有一个很大的影响人类的未来有理由去追求其他的机会,但是一个捐赠者(尤其是GiveWell历史上的目标个体捐赠者)能做的和路加福音和以利以谢福音想要做的一样好并不明显。
Eliezer和Luke同意做“正常好东西”有一个很好的赛道记录，并且可能在近期生产重大的商品，但他们担心以来，经济增长更快地加速了AI安全/友好研究的AI能力研究，自前者以来金宝博娱乐在多个研究人员跨越多个研究来并并行而不是后者。金宝博娱乐如果在友好之前聪明地聪明地弄清楚，他们期望全球灾难。因此，在长期运行中，更快的经济增长可能是净额。但是，他们很多，这不太肯定比这的论证的迹象更重要。智力爆炸和能力和价值的正交性。
第28-32页:
Holden和Luke/Eliezer之间的分歧很可能归结为他们在AI风险的具体动态上的分歧。霍尔顿认为“天文浪费”的文章被误导性地引用了，认为人们应该直接关注降低x风险的工作，而不是其他原因;以利以谢觉得这篇文章没有说错什么，只是在这一点上被曲解了。
第32-35页:
讨论如何处理这样一种情况世界上有多种模式可能是正确的，其中一些涉及的公用事业比其他的高得多。是否要进行一个简单的期望值计算，这意味着让模型中较大的数字占主导地位?还是“根据可能性的比例给予每个模型选票/资源”?每一个有原则/明确的答案似乎都有问题。Holden, Luke和Eliezer同意“用小概率乘以大效用”的方法不是最优的。
第35-39页:
关于人类最终殖民恒星的可能性的讨论。路加和以利以谢认为这是一个默认的结果如果事情继续发展得比较好;霍尔顿的印象是，情况并非如此，但他并没有想太多。讨论了更新这一问题的可能性。
第39-45页:
讨论是否“造成未来的生命，当他们否则不存在时”是“今天的拯救一生”的价值至少10％* n次。Holden对这个问题有很大的不确定性，比Eliezer和Luke更多。他不信任思想实验的方法，比Eliezer和Luke更大程度。
由holden选择的一些亮点
霍尔顿：是的，我同意。我想你想要一个可能是高度破坏性的所有东西的清单，你想考虑他们所有风险，你想考虑他们所有的可能性，我真的不确定这里还有什么。
路加福音：我想我们也可能不同意你能弄清楚的东西，以及你不能对未来的影响。
霍尔顿：是的，我认为这是我们的主要分歧。
路加福音因为我认为我们列了一个清单，我们认为我们对清单上的项目了解一些，因此我们可以弄清楚哪些项目需要更多的关注。
霍尔顿嗯，不，我会同意你刚刚说明的内容，但我只是认为你比我更自信。我也相信我们可以列出比其他事情更容易破坏的东西，然后我们应该去看他们并注意他们，但我只是认为你们在你的人中更有信心看看是什么东西。我的感觉是这样的：我的感觉基本上我们很少知道。保持这种[向上趋势]要走非常重要。这不是我们应该忽视或忽视的东西。所以一般来说，帮助人们很好，那种我们如何让我们所在的地方，是人们刚刚做了很好的事情，而没有可视化他们要在哪里。
把事情的发展过程可视化的记录是非常糟糕的。做好事的记录是非常好的。所以我认为我们应该做一些好事，我还认为我们应该列出我们认为在遥远的未来或仅仅与遥远的未来有关的事情，这些事情特别重要。我觉得我们应该把他们都查一遍。另一点值得注意的是，我的工作和你们的不同。你们所在的组织是一个专门的组织，是一个知识生产的组织。我的工作很明确，很宽泛。我的工作基本上是能够给一个慈善家提供建议，我希望能够做的一部分就是能够谈论很多不同的选择，了解很多不同的事情。我不认为这是我工作的好方法，只是选择最高期望值然后把所有的鸡蛋放在那个篮子里。但也许这对很多人来说都是一份好工作，只是不适合那些明显以知识广博为增值的人。
所以它的一部分是角色，但我认为你们的人更有信心。我的观点是，我们应该列出我们认为我们所知道的事情，我们应该调查他们的事情。与此同时，我们也应该做的事情很好，因为做好事物的事情有更好的追踪让我们更接近星星的纪录，而不是做出高度计划的事情。
以利以谢:So indeed, if I tried to pass your ideological Turing test, I would have said some mixture of “we can’t actually model the weird stuff and people trying to do good is what got us where we are and it will probably take us to the galaxy as well,” that would have been the very thing …
霍尔顿你只需要稍微稀释一点。
以利以谢:当然，所以:“就我们可能到达银河系而言，很有可能人们只是想做好事，所以只要努力做好事就能到达那里。”
霍尔顿对，尤其是那些只是把做好事作为近似目标，然后以难以预见的方式产生文明后果的人，我对那些感觉很大的做好事的机会特别感兴趣。即使机遇对大的定义不同，就像一种帮助很多动物的方式。这是一种帮助很多非洲人，帮助很多美国人的方式。这些都是，在绝对意义上，它们似乎不太可能在同一个范围内，但在某种市场效率意义上，它们在同一个范围内。这是:哇，我不是每天都能看到这么好的东西，大多数东西都是好的，别人抢了，让我拿这个，因为这是一种可以像蒸汽机一样的东西，它就像，这东西很酷，我造的。这是超级酷。然后它会对文明产生影响。
以利以谢:So in order to get an idea of what you think Earth’s ideal allocation of resources should be, if you were appointed economic czar of the world, you formed the sort of dangerous to think about counterfactual… or maybe a better way of putting it would be: how much money would you need to have personal control over before you started to trying to fund, say, bioterror, nanotech and AI risk type stuff? Not necessarily any current organization, but before you start trying to do something about it?
霍尔顿我的意思是，比Good Ventures要少。
以利以谢： 有趣的。
霍尔顿：喜欢，我想我们可能会做点什么。但这取决于。我们想继续调查它。Part of this is that I don’t have all the information and you guys may have information that I don’t, but I think a lot of people in your community don’t have information and are following a Pascal’s mugging-type argument to a conclusion that they should have just been a lot more critical of, and a lot more interested in investigating the world about. So my answer is: we’re still looking at all this stuff, but my view is that no, existential risks are a great opportunity. There’s not nearly enough funding there.
＊＊＊
霍尔顿不管怎样，这是题外话。我认为你们更倾向于认为自己很了解问题不仅了解问题是什么，还了解谁在研究什么相信忽视x风险是你们对x风险感兴趣的很大一部分。我认为有很多人很快就相信x风险是最重要的，我不相信他们已经走出去，看看这个世界，看到什么被忽视了，什么没有被忽视。我觉得他们是在模仿帕斯卡的抢劫手法。但是我很高兴与你们就说我不了解什么是被忽视的,什么不是,我认为存在风险看起来很忽视,初步,但我想看看更多的事情之前我真的决定如何被忽视,还有什么可能更被忽视。你同意我的观点吗忽视x风险是你认为这是一件好事的主要原因?
路加福音我想对我来说是。
以利以谢：我想我想专门说，特别是看起来很忽视的很大的X-风险，这意味着你从对他们身上行事了一个大的边际杠杆。但即使这不会真的诚实地携带争论。
霍尔顿：但如果你读过“天文浪费”，那就得出结论，X-Risk是工作的事情，没有讨论是否被忽视，我认为这是大多数人的推理链。我认为这是搞砸了。
以利以谢：是的，这不可能是对的。或者一个理智地球在所有慈善界都有某种分配。并少就像物品下降到他们的拨款一样，你会得到福利，将东西放入其中，如果他们超越他们的拨款，你就会投注把钱放在其他地方。我们可以以X-Rail所做的一些投资，这样我们的下一个投资应该抵抗疟疾基金会或其他东西。虽然这实际上仍然不对，因为这是一个更好的论点，因为撒旦实际上确实暂时对疟疾基金会说，让我们看看他们可以做些什么与现有的流入。
路加福音:虽然不一定是相对于目前世界上的分配!
霍尔顿：是的，绝对。
＊＊＊
霍尔顿:是啊。好的。我认为我们有一些分歧，我认为这不是巨大的分歧，我认为他们主要与我们有多信心。我认为我们同意有很多重要的事情，我们同意被忽视的是让原因善的一部分。如果还有其他原因非常重要，真的被忽视，那么这些也很好。我们同意一切都很好地拥有一些价值，但我认为很好的东西相对于似乎适应长期计划的事情有更多的价值，并且与我对我们有多信心有很大关系可以是关于长期计划。
以利以谢我提出CFAR的理由是这样的。为什么,在某种程度上,我在实践中,我的努力分为米里CFAR,是这样的,除了不管发生什么,我希望因果通路银河殖民下的“和其他奇怪的事情发生了一件奇怪的事情可能阻止你这样做”的道路。
我认为银河系的人类定植概率几乎为零。
霍尔顿对，你认为它会像人类一样。
以利以谢:我希望他们开心,他们有一个大的,复杂的文明,是一个连续的继承从人类价值观,因为我觉得有趣的是,在人类中存在一个概念,也许某种程度,其他哺乳动物,但不是在岩石中。所以你不是免费得到的，你不会想看到星系最终变成回形针之类的东西。但是:“人道的”生活可能是一个更好的术语。
霍尔顿： 一定一定。
以利以谢我认为在这个过程中会发生奇怪的事情和奇怪的紧急情况。CFAR可以被认为是一种广义的奇怪的紧急事件处理器。
霍尔顿有很多奇怪的紧急事件处理人员。
路加福音：是的，您可以通过获取预测市场标准或其他东西，改善世界上的决策过程。
霍尔顿也就是让人们更富有、更幸福。
以利以谢:由于明显的原因，预测标志在x风险方面有一些麻烦，比如在大多数有趣的情况下，市场不能回报。
霍尔顿我认为你可以通过使人类更富有、更幸福而使人类更聪明。到目前为止，似乎确实是这样。
以利以谢：是啊，智力增强？
霍尔顿：是的，嗯，也是如此。但这是进一步的，这更具体而且更具投机性。我认为世界真的确实变得更聪明，作为生态系统。金宝博官方我不是指平均智商。我认为生态系统变得更聪明。金宝博官方如果您认为Miri是如此重要，我认为Miri的存在是迄今为止的证明，因为我认为Miri的存在是通过许多财富和经济的发展成为可能的，肯定是赠送的。如果你拍鸡蛋并跑回20年，我能够做任何事情的几率都是如此。
以利以谢：CFAR，从我的角度来看，它有点像：概括了处理奇怪的紧急情况所需的那种技能，并为他们有任何其他奇怪的事情而发生。
霍尔顿我认为世界生态系统在处理这类突发事件方面做得越金宝博官方来越好了。我认为，如果你想重视cfar，那么我认为这就是证据，如果你不想重视cfar，那么我认为还有其他证据。有更多的非营利组织处理随机的事情，因为我们有更多的钱。
以利以谢：我不确定我是否会评价我们处理奇怪紧急情况的能力。核武器是一种经典奇怪的紧急紧急情况，实际上已经被这一孤独的天才形象处理了这一目标，他看到它来了，并试图动员努力等等，我在谈论leószilárd。所以罗斯福总统罗斯福总统写了一封信，除非爱因斯坦没有写它。这是由那些做到这一点的人写的鬼魂，因为莱昂Szilárd告诉他们，然后爱因斯坦将其送走了。有这种关于谈话的着名故事，其中LeóSzilárd向爱因斯坦解释为临界裂变链反应和爱因斯坦的谈话，“我从未想过这一点”。然后来到曼哈顿项目，这是政府努力处理它的大量动员。
所以我的印象是，如果类似的事情再次发生，奥地斯坦的现代爱国者的信不会被奥巴马阅读。我的印象是我们在某种程度上变得更糟。
霍尔顿：我不同意这一点。
路加福音：Eliezer，你为什么这么想？
霍尔顿你也在指向一个非常具体的路径。我也在思考这些天来所有处理随机事物的机构。所有拥有知识自由和财务自由的人，去思考这些东西，而不仅仅是这些东西，我们没有考虑的其他东西，它们可能会变得更重要。
以利以谢例如，我们似乎在裁减前苏联共和国的核武器方面做得不是很好。
霍尔顿我们也在谈论对随机事物的随机反应。我认为我们只是有更大程度的社会能力去注意和思考随机的事物。
以利以谢：这完全是我对前任者的期望，我只是想知道我们是否能实际上看到它是真实的。在女前沿，我同意完全预期的。
以利以谢我们可能会比20世纪40年代更糟，然而，不断增长的发展仍然可以提高我们处理奇怪事物的能力。我想我同意这一点。我想我也同意，在其他一切都平等的情况下，随着社会变得更加富裕，有更多的非营利组织，有更多的空间来处理奇怪的事情。
霍尔顿:Yeah, it’s also true that as we solve more problems, people go down the list, so I think if it hadn’t been for all the health problems in Africa, Bill Gates might be working on [GCRs], or he might be working on something else with global civilizational consequences. So when I’m sitting here not knowing what to do and not feeling very educated in the various speculative areas, but knowing that I can save some lives, that’s another reason there is something to that.
但这就像:捐赠给AMF的案例，除了它帮助GiveWell的方式，绝对是在一个我感觉不是很强大，不是很重要的世界里(相对于以利以谢和路加预想的世界)。我觉得，你知道，我要做(相对少量的)好事，这就是我正在努力做的。
So in some sense, when you say, AMF isn’t like a player in the story or something, I think that’s completely fair, but also by trying to take a lot of donors who are trying to do this much [a small amount] and trying to help them, we’ve hopefully gotten ourselves in a position to also be a player in the story, if in fact the concept of a player in the story ends up making sense. If it doesn’t and this [small amount of good] turns out to be really good, we’ll at least have done that.
以利以谢:The sort of obvious thing that I might expect Holden to believe, but I’m not sure that that actually passes your ideological Turing test is that collectively, fixing this stuff collectively, is like a bigger player than collectively the people who go off and try to fix weird things that they think that the fate of the future will hinge on.
霍尔顿我只是觉得你刚才说的有可能是真的，也有可能不是。如果我坐在这里，什么都不懂，我想做点好事，我觉得做点好事总比瞎猜一件我不了解的事要好。另一方面，我们在GiveWell的理想是真正做到两面兼顾。
＊＊＊
以利以谢：我们是否认为我们的分歧是必要和充分的原因是我们的可视化艾美的效果？
霍尔顿：我认为这是可能的。
以利以谢如果你的人工智能是如何神奇地工作的，立即切换到Eliezer Yudkowsky的人工智能是如何工作的。我的意思是，埃利泽·尤多科夫斯基，鉴于对GiveWell突然的神奇控制，不仅仅是关于x风险。以利以谢把它放在了一个有三步深的链接上，试图增加流入的有效利他主义者的流向。
．..
霍尔顿我认为这是很有可能的，我只是想把你们的想法和我对x风险的一般观点进行对比，我和很多人都说过，x风险显然是最重要的东西。你为什么这么想?你读过《天文浪费》吗好吧，这有点荒谬。你有一篇文章，没有讨论是否有些东西被忽视，总结什么是最重要的，我们甚至没有谈论人工智能和通向人工智能的路径，以及为什么人工智能，它只是x风险，(人们解释为)小行星，别这样。
以利以谢我同意你的反对意见。我们也许可以发表某种联合声明，如果你想的话，通知人们。
霍尔顿：是的，也许。我打算写一些关于这个的东西，所以也许我会用你们跑。在某种程度上，我被称为X-ilit＆巨魔先生，或者，它是因为那些是我总是拥有的论点。当我想起你们的时候，我觉得你和我看不到AI的眼睛，这回到了我们上次举办的谈话，这可能是很多解释。与此同时，它肯定在桌子上为我们提供一些资源。
＊＊＊
以利以谢:好吧，我查了"天文废物"那篇论文里面的内容似乎都是正确的，但我能理解，回想起来，我们现在都希望，有一条警告加了进来"在关于现在该怎么做的辩论中，但这并不意味着明确关注x风险的慈善机构是最大化成功可能性的最佳方式。”
霍尔顿对，事实上，这并没有告诉我们太多。这可能是一个有用的框架，也可能是一个无用的框架。还有很多东西没有得到解答，然而这篇文章的结论是:我们已经把范围从很多缩小到了一点点。
以利以谢我不记得那篇文章里有这个。这就像是，这是我们在行为中做出选择的标准，在我的道德框架中，这显然是正确的。
霍尔顿：我也不同意这一点，所以也许这是下一个主题。
以利以谢:是啊。假设你接受了"好结果的最大概率"不是世界如何运转的因果模型，而是作为一种决定性的伦理标准。你所做的一切会改变吗?
霍尔顿：我想到了这一点，也许不是我应该的那么难。我不认为会改变。我认为我将相对不太感兴趣，短期遭受的东西。但我不确定很多。实际上，我想我现在就基本上了。我想五年前，我不会改变太多。我觉得现在我会是，因为我觉得我们变得更好地定位了实际目标的东西，我认为我对极端AI和远期和所有这些东西都有一点更有信心。以及我思考的事情对此有关，但我认为这不会是一个巨大的变化。
＊＊＊
霍尔顿:I just think there’s also a chance that this whole argument is crap and… so there is one guy [at GiveWell] who is definitely representing more the view that we’re not going to have any causal impact on all this [far future] stuff and there is suffering going on right now and we should deal with it, and I place some weight on that view. I don’t do it the way that you would do it in an expected value framework, where it’s like according to this guy, we can save N lives and according to this guy, we could save Q lives and they have very different world models. So therefore, the guy saying N lives wins because N is so much bigger than Q. I don’t do the calculation that way. I’m closer to equal weight, right.
以利以谢是的，你将会有困难把它建立在一个坚实的认知基础上，但是尼克·博斯特罗姆做了一些他所谓的议会决策模型的工作。我不知道尼克·博斯特罗姆会支持他们的扩展,这种情况下,但叙述地,似乎很多我们要做的是有点像不同的事情我们认为可能是真的会声音比例如何真正的他们,然后与对方谈判。这有一个优势，是强大的Pascal的mugging类型的东西，我想再次声明的历史记录:我发明了这个术语，而不是你应该做的事情!所以无论如何，它对帕斯卡劫案类型的东西是可靠的，而且它的缺点是似乎不符合“如果每个人都做了什么”的测试。
＊＊＊
霍尔顿让我退一步说。我听到了你的说法，我认为我们有很高的可能性——如果我们生存下来的话——可以殖民其他星球。我相信这是聪明的技术人员不会同意的。我已经概述了为什么我认为他们不会同意它，但并没有做得很好，这是我愿意更多地思考和讨论的事情。
以利以谢除了费米悖论之外，还有其他原因吗?
霍尔顿：我不知道所有原因都是什么。我已经留下了宽松的印象，而且我看起来不是一些东西，因为我真的不认为对方有任何人。
