James Miller关于AGI公司面临的异常激励措施

||谈话

RSZ_11James-D-Miller詹姆斯D. Miller.是经济学副教授史密斯大学.他是作者奇点上升博弈论工作A.微观经济学教科书的原则以及几个学术文章。

他在芝加哥大学和J.D.来自斯坦福法学院的经济学博士学位法律评论.他是一位低级提供者的成员阿尔科尔和Miri的金宝博娱乐研究顾问。他目前正共同撰写一本关于更好的决策应用理性中心并且可能是下一个版本的编辑奇点假设书。他是一个犯下的生物黑客目前正在练习或消费古饮食neurofeedback.冷热生成间歇性斋戒大脑健身视频游戏聪明的药物防弹咖啡, 和理性训练

卢克·穆罕伯勒:你的书章节奇点假设描述了一些致力于创造的未来业务的一些不寻常的经济激励措施agi..为了解释你的观点,你做了一个简化的假设,即“一个公司试图构建一个AGI将导致三种可能的结果之一”:

  • 不成功:该公司未能为其业主和投资者带来AGI,对其失去价值。
  • 富有:公司创造了AGI,为其业主和投资者带来了巨大的财富。
  • f:公司创造了AGI,但此活动迅速摧毁了金钱的价值,例如,通过A.智力爆炸消除了稀缺性,或没有钱的奇怪世界,或灭绝人类。

此设置如何允许我们查看正在努力创建AGI的未来业务面临的异常激励措施?


詹姆斯米勒:一个巨大的小行星可能会击中地球,如果它会摧毁人类。你应该愿意打赌你拥有的一切,即小行星会想念我们的星球,因为你要么赢得你的赌注,或者阿姆齐森渲染赌场无关紧要。同样,如果我要开始一家公司,他们将使投资者非常丰富或创造一个f摧毁了金钱的价值,你应该愿意在我公司的成功中投入很多,因为投资会得到偿还,或者你会做得更好地做出任何其他类型的投资。

假装我想创建一个可控的AGI,如果成功,我会赚很棒富有对于我的投资者。起初我打算遵循一个研究和开发路径,如果我无法实现金宝博娱乐富有,我的公司将是不成功对世界没有重大影响。不幸的是,我无法说服潜在的投资者,即我实现的概率富有足够高,可以让我的公司值得投资。投资者分配太大的可能性,即其他潜在投资将超越我公司的股票。但后来我培养了一个邪恶的替代研究和发展计划,我有完全相同的实现概率金宝博娱乐富有如前所述,但现在,如果我未能创建一个可控的AGI,一个不友好的f会破坏人性。现在我可以如实地告诉潜在的投资者,任何其他公司的股票都是不太可能的股票。


卢克:在小行星的情况下,投资者(ME)没有能够影响小行星是否击中我们。相比之下,假设投资者希望避免冒着销毁金钱的危险,他们可以做些什么:他们可以简单地不能投资项目来创造可控的AGI,他们可以鼓励其他人不投资它。如果危险的AGI项目未能获得投资,那么这些潜在的投资者不必担心金钱的价值 - 或者确实是他们非常生命 - 将被那个特定的AGI项目摧毁。

为什么投资者会为某些有可能摧毁一切的机会提供资金的东西?


詹姆士:考虑一个可能包含极其有价值金属的矿井。唉,挖掘我的挖掘可能会唤醒那个秃头,然后将摧毁我们的文明。我来找你要求钱资助我的采矿探险。当你提出关于俾郎的担忧时,我解释说,即使你不为我提供资金,我可能会在其他地方拿到这笔钱,也许来自那些不相信Balrogs的众多人之一。另外,因为你只是许多人中的一个,我希望能够回到我的人中,即使我从不弥补失去投资,我将几乎肯定仍然获得足够的资金来挖掘Mithril。即使你设法停止我的采矿业务,别人也将最终工作。至少,Mithril的军事价值最终会导致一些国家寻求它。因此,如果矿井确实含有一个容易唤醒的博罗格,无论你做什么,我们都死了。因此,由于您别无选择,只能承担矿井的下行风险,我解释说,您可能会和我一起投入一些资金,这样您也可以分享上行福利。

If you’re a self-interested investor then when deciding on whether to invest in an AGI-seeking company you don’t look at (a) the probability that the company will destroy mankind, but rather consider (b) the probability of mankind being destroyed if you do invest in the company minus the probability if you don’t invest in it. For most investors (b) will be zero or at least really, really small because if you don’t invest in the company someone else probably will take your place, the company probably doesn’t need your money to become operational, and if this one company doesn’t pursue AGI another almost certainly will.


卢克:谢谢你的澄清。现在我想给你一个回复你一个批评者的机会。回应您的书籍章节,罗宾汉森写道:“[Miller的分析]只有作为其基于假设的实用性。米勒的选择假设似乎非常极端,而且不太可能。“

如果他可以澄清(并被引用),我问汉森,他告诉我:

在[此]上下文中,假设是:“单个公共文件一次性系统开发整个系统。金宝博官方...它在成功中很快就是没有机会对别人做出反应 - 世界在一夜之间反弹。“我会认为整个AI行业,每个公司只能占总产品的一小部分,并与其他几家公司竞争,以使那个小部分。每个公司的每一个新的创新只会为那个小部分的能力增加一个小部分。

Hanson还写了一些关于你的书的评论奇点上升这里

您如何回复Hanson,了解在AGI工作的经济激励措施?


詹姆士:汉森在智力爆炸的可能性上占极低的概率。如果你足够折扣这样一个的可能性,我章节的分析确实变得毫无价值f

但大小是因为Eliezer Yudkowsky.,我认为,他们成为一个重要的机会,他们是一个智慧爆炸,其中一个AGI在几天内到了人类智能到令人聪明的秩序。我描述了奇点上升这可能会发生这种情况:

不知何故,创建了一种人类的AI,希望改善其认知能力。AI审视了自己的源代码,寻找增强自身的方法。在找到潜在的改进之后,原始AI将其自身的副本添加了添加的增强。原始AI然后测试新的ai,看看新的ai是否比原来更聪明。如果新的AI确实更好,它替换了当前的AI。然后,此新的AI依次进行增强其代码。由于新的AI比旧的智慧更聪明,因此它发现旧的AI无法改进。这个过程继续重复自己。

智能是一个反思超级大国,能够打开自己来破译自己的工作。我认为AGI可能存在一些智能阈值,其智能基于易于改变和可测试的计算机代码,可以f

然而,汉森是正确的,智力爆炸将代表所有过去的技术发展突然突破,所以外观技术支持他的立场,即我所选择的假设是“相当极端的,并且不太可能”。


卢克:我认为Yudkowsky会回答许多外界的看法,其中一些认为情报将迅速爆炸,而另一些则不然。例如在智能爆炸微观经济学他认为,关于大脑规模和同性恋进化的外观表明,AGI将导致情报爆炸。我自己的首选解决方案“参考类网球“将每个外部视图作为如何运作现象的模型,承认我们的模型不确定性,然后使用类似的东西模型组合弄清楚我们的后验概率分布应该是什么。

好的,最后一个问题。你现在在做什么?


詹姆士:我正在合作一本关于更好地决策的书应用理性中心.虽然这本书仍处于早期阶段,但它可能基于短,原始的虚构故事。我也可能是下一个版本的编辑奇点假设书。


卢克:谢谢,詹姆斯!