John Horgan采访Eliezer Yudkowsky

||对话

以利以谢Yudkowsky科学美国人作家约翰霍恩最近采访了MIRI的高级研究员和联合创金宝博娱乐始人Eliezer Yudkowsky。这次电子邮件采访涉及广泛的话题,从政治和宗教到存在风险和贝叶斯理性模型。

虽然以利以谢在采访中并没有以官方身份发言,但很多讨论的问题可能会让关注MIRI工作的人感兴趣。我们在下面复制了完整的采访内容。


John Horgan:当一个派对上的人问你做了什么,你告诉她什么?


以利以谢Yudkowsky:根据场合不同:“我是一个决策理论家”,或者“我是机器智能研究所的联合创始人”,或者如果不是那种派对,我会谈论我的小说。金宝博娱乐


约翰你最喜欢的人工智能电影是什么?为什么?


以利以谢电影中的人工智能很糟糕。救世主是接近于这个规则的一个例外,因为它是现实的要求。


约翰大学被高估了吗?


以利以谢如果大学是,那将是非常令人惊讶的被低估的考虑到支持大学的社会可取性偏见。据我所知,没有理由不相信经济学家的说法,他们说大学基本上已经变成了一种地位商品,以前增加学生贷款数量的努力只会增加大学的成本和毕业生债务的负担。


约翰:你为什么写小说?


以利以谢:套用Wondermark的话,“嗯,一开始我试着不去做,但后来就不行了。”

除此之外,非小说类作品传达了知识,而小说则传达了知识经验。如果你想了解一个贝叶斯规则的证明,我会用图表。如果我希望你这样做感觉用贝叶斯推理是什么,我得写一个故事,故事里有个角色在这么做。


约翰你有宗教信仰吗?


以利以谢:没有。当你犯了错误,你需要避免采取防御的诱惑,试着找到一些你是对的方法,在乌云中寻找一线光明。更明智的做法是说一声“哎呀”,承认你一点都不对,然后囫囵吞下整个苦果,然后继续你的生活。这是人类对待宗教的态度。


约翰如果你是世界之王,你最想做的事是什么?


以利以谢:我曾经观察到,“自由意志主义的考验是,想象你获得了权力,你的第一个想法是你将通过的法律,还是你将废除的法律。”我不是一个绝对的自由主义者,因为并不是我想要的一切都是关于废除法律和软化约束。但是当我想到这样的一个案例时,我想象着把这个世界变成这样一种情况:一些失业的人可以开车送你去工作20分钟,却只得到5美元,然后他们就不会再遇到其他不好的事情。他们没有失业保险被淘汰,必须注册营业执照,失去医疗保险,被审计,让他们的律师证明符合OSHA的规定,等等。他们只增加了5美元。

我想说的是雇佣一个人又像1900年一样容易了。我认为现在有一些安全网是有意义的,但我会试着构建每一个安全网,这样它就不会对一个人再次成为经济一部分的简单事件产生异议或增加文书工作。

我会尝试做所有聪明的经济学家一直在喊的事情,但几乎没有一个国家做过。用消费税和土地增值税取代投资税和所得税。用负工资税取代最低工资。在央行建立NGDP水平目标机制,让那些“太大而不能倒闭”的银行自生自灭。在专利法中要求败诉赔付,并将版权追溯至28年前。消除住房建设的障碍。复制并粘贴新加坡的医疗保健设置。复制粘贴爱沙尼亚的电子政府设置。试着用具体的、个人的决策者来取代委员会和制定过程法规,他们的决策将被公开记录并被问责。对不同的政府机构进行对照试验,并切实关注结果。 I could go on for literally hours.

从2亿年以后的角度来看,所有这些可能都无关紧要了。但由此产生的经济繁荣所产生的善意,可能会在我试图弄清楚如何应对人工智能时,对我的政府有利。我想,最明显的情况是,在某个岛上建立一个“曼哈顿计划”(Manhattan Project),其薪酬与顶级对冲基金具有竞争力,人们可以在不发表研究成果的情况下,就人工通用智能(Artificial General Intelligence)问题的部分研究进行合作,从而自动让我们离世界末日更近了。金宝博娱乐我们仍然在未知的最后期限前工作,我在那个时候不会感到放松。除非我们假定我真的拥有神奇的力量或一个完全不可动摇的政权,否则我不认为我可以合理颁布的任何法律能够在一个计算机已经无处不在的星球上拖延人工智能的时间线很长时间。

首先,所有这些都是一个不可能的思维实验,我几乎看不到它在现实生活中实现的希望。


约翰贝叶斯定理有什么了不起的?


以利以谢首先,贝叶斯定理是非常深奥的。所以要给出一个简短的答案并不容易。

我可能会回答贝叶斯的定理是一种认知热力学的一种第二律法。如果您获得了一个校准的后者,一些命题是99%可能的,如果这个命题是牛奶在超市或全球变暖是人为的,那么你必须已经处理了一些足够好的前瞻和足够强烈的证据组合。这不是规范性需求,这是法律。In the same way that a car can’t run without dissipating entropy, you simply don’t get an accurate map of the world without a process that has Bayesian structure buried somewhere inside it, even if the process doesn’t explicitly represent probabilities or likelihood ratios. You had strong-enough evidence and a good-enough prior or you wouldn’t have gotten there.

在个人层面上,我认为主要的灵感贝父必须为我们提供我们只是那里的事实规则,控制思维模式是否有效地映射现实的铁法。摩门教徒被告知他们会通过在心中感到灼烧的感觉来了解摩门教的书的真相。让我们保守地将摩门顿书的先前概率达到一到十亿(反对)。然后,我们询问有可能,假设摩门教的书是假的,在被告知期待一个人之后,有人会在他们心中感到灼热的感觉。如果您了解贝叶斯的规则,您可以立即看到,证据的不可能性并非相称,不可能具有它试图举起的假设的不可能性。你甚至不得不弥补数字来看看数字不会加起来 - 作为菲利普特洛克斯在他对超级机构的研究中找到的,超级管家经常知道贝叶斯的规则,但他们很少弥补特定的概率。在某种程度上,如果你刚刚在肠道水平上实现,它就更难被愚弄有数学, 这就是了一些你需要进行数学运算来得出证据的确切强度,以及它是否足以消除假设的先验不可能性。你不能随便编故事去相信你想要相信的东西因为那行不通。


约翰:做了Bayesian-brain假说给你留下深刻印象?


以利以谢:我认为一些辩论中的一些人可能会互相交谈。询问大脑是否是贝叶斯算法,就像询问本田雅阁是否在卡诺热发动机上运行。If you have one person who’s trying to say, “Every car is a thermodynamic process that requires fuel and dissipates waste heat” and the person on the other end hears, “If you draw a diagram of a Carnot heat engine and show it to a mechanic, they should agree that it looks like the inside of a Honda Accord” then you are going to have some fireworks.

当他们打开内燃机并找到气缸并说“时,有些人也会非常兴奋,”我打赌这将热量转化为压力,有助于向前推动汽车!“他们将是对的,但随后你会发现其他人说:“你专注于什么只是一个更大的汽车部件图书馆中的一个组件;催化转化器也很重要,并且没有出现在卡槽热力发动机图中的任何位置。为什么我们有时我们运行空调,以与你如何说热动发动机工作的完全相同的方式运行。“

我不认为这是令人惊讶的,我认为人们采取一种优越的态度说,“你显然不熟悉现代汽车修理;你需要一个工具箱的各种方法来建立一个汽车引擎,如火花塞和催化转换器,而不仅仅是这些热力学过程你一直在说“缺少一个关键的抽象层次”。

但如果你想知道大脑是否字面上的一个贝叶斯引擎,而不是做我们可以用贝叶斯方式理解本质的认知工作,那么我的猜测是"不可能"引擎中可能会有一些令人兴奋的贝叶斯汽缸,但更多的看起来会像奇怪的临时安全带和空调。这些都不能改变这样一个事实,即要根据感官证据正确地识别苹果,你需要做的事情最终可以被解释为基于一个可以学习苹果概念的归纳先验,并更新区分苹果和非苹果的证据。


约翰:你能过于理性吗?


以利以谢:你可以遇到我们所谓的“糟糕的理性谷”。如果您以前以多种方式进行平衡或取消的方式是非理性的,那么成为半理性的可能会让您更糟糕。逐步变得更加理性可以让您逐渐变得更糟,如果您选择错误的地方首先投资您的技能点。

但我不会建议人们过分关注这种可能性。根据我的经验,那些到处谈论如何明智地选择非理性的人,坦率地说,让我觉得他们是傻瓜。很难想出一个现实的非人为的生活情境,你知道这是一个非理性的好时机,你不知道真正的答案。我认为在现实生活中,你只要告诉自己你所知道的最好的真相,不要试图变得聪明。

在一个完全独立的问题上,成为一个理想的贝叶斯代理最终可能与从快乐理论的角度过上最好的生活不相容。但我们离这个问题比我们现在的自我毁灭更严重还有很长的路要走。


约翰你对奇点的看法和雷·库兹韦尔有什么不同?


以利以谢

  • 我不认为你可以用摩尔定律来计算人工智能的时间。AI是一个软件问题。
  • 我不认为人类和机器的“融合”可能是第一批超人类智能的来源。在第一辆汽车出现一个世纪后,我们才开始在马身上安装机器人外骨骼,而一辆真正的汽车仍然比它快。
  • 我不指望第一个强大的AIS基于神经科学方式发现的算法,而不是第一个飞机看起来像鸟类。
  • 我不认为纳米-信息-生物“融合”是可能的、不可避免的、定义明确的或可取的。
  • 我认为1930年到1970年之间的变化比1970年到2010年之间的变化更大。
  • 我认为发达国家的生产率目前停滞不前。
  • 我认为,用摩尔定律来推断技术进步超过你所说的预测比人类更聪明的人工智能,实在是太怪异了。比人类聪明的人工智能打破了你的图表。
  • 一些分析家,比如伊尔卡·托米,声称摩尔定律在20世纪初就被推翻了。我不是特别不相信这一点。
  • 我唯一关心的关键技术门槛是人工智能,也就是人工智能软件,有很强的自我完善能力。我们没有这个门槛的进展图表,也不知道它在哪里(除了它不应该高于人类的水平,因为人类可以做计算机科学),所以它不能通过图表来计时,既不知道在哪里,也不知道在哪里。(无知指的是一个很大的可信度区间,不确定某件事是否遥远。)
  • 我认为在默认情况下结果并不好——我认为结果可以变好,但这需要艰苦的工作,关键参与者可能没有立即采取行动的动机。告诉人们我们正处于通往伟大美好时代的默认轨道上是错误的。
  • 我认为“奇点”已经成为一个包含了太多互不兼容的含义和细节的手提箱词,我已经不再使用它了。

约翰你认为你有机会成为一个超级智能的半机械人吗?


以利以谢:概率论的合取定律说P一个B)≤.P一个) - A和B同时发生的概率小于A单独发生的概率。可以让人类分配的实验条件P一个BP一个)对于一些一个B据说展示了“连接谬论”-例如,1982年,在国际预测大会上,专家们认为“俄罗斯入侵波兰,与苏联的外交关系完全破裂”的可能性比另一个小组认为“与苏联的外交关系完全破裂”的可能性要高。类似地,另一组被分配到“加州地震引发的洪水造成超过1000人死亡”的概率比另一组被分配到“北美某处的洪水造成超过1000人死亡”的概率更高。尽管添加额外的细节必然会让故事变得不太可能,但它可以让故事听起来更可信。我把这种理解看作是一种严肃的未来主义的“庞斯阿西诺伦”——仔细权衡每一个你添加到你的负担上的独立命题,询问你是否能独立地支持那个细节,与编造一个精彩而生动的故事之间的区别。

我将此作为我的回答的背景,即“你为什么要在此添加‘机械人’细节?我不想成为半机械人。”你必须小心添加额外的细节。


约翰你有可能长生不老吗?


以利以谢:什么,文字不朽?文字不朽似乎很难。生活显着长于几万亿年,要求我们对扩张宇宙的预期命运有问题。生活长于Googolplex多年,要求我们对物理法的基本特征是错误的,而不仅仅是细节。

即使一些更疯狂的猜测是正确的,我们的宇宙可能会产生新的宇宙,但这并不能让我们获得真正的永生。要想在不重复自己的情况下显著地度过谷歌plex年,你需要包含不止一个谷歌元素的计算结构,而这些元素不可能装进一个哈勃体积。

谷歌plex也不是无限的。套用马丁·加德纳(Martin Gardner)的话来说,格雷厄姆数字仍然相对较小,因为大多数有限数字都要大得多。如果你真的想让你大吃一惊,那就看看快速增长的层次结构吧,嗯,永恒比那更长。只有奇怪的、坦率地说可怕的人类理论才能让你活到足够长的时间,去注视——也许是有意的,也许不是——运行时间最长的、有100个状态的、停止运行的图灵机的停止。

但我不确定活着看到第100只忙碌海狸对我来说是否有很深的情感影响。从现在起的一个世纪后,我对自己有一些想象上的同情。我将能够同情一个世纪后他们主观的未来的自己。也许在未来的某个地方,有人面对未来的自己根本不存在的前景,他们可能会为此感到非常难过;但我无法想象那个人会是谁。“我想再活一天。明天我还想多活一天。所以我想永远活下去,用正整数归纳法证明"甚至我对可容纳物理宇宙的长寿的渴望也是一种抽象的愿望;并不是说我能想象一万亿年后的自己。


约翰我把奇点描述为逃避现实的,伪科学的幻想,分散我们对气候变化、战争、不平等和其他严重问题的注意力。为什么我错了?


以利以谢因为你试图通过对人们进行心理分析来预测经验事实。这是没有用的。

假设我们达到了一个足够聪明的人,以便做同样的工作,以便人类在使AI更聪明的情况下;它可以调整自身,它可以做电脑科学,它可以发明新的算法。它可以自我改善。之后会发生什么 - 它变得更加智能,见得更多的改进,快速获得高度限制的能力吗?或者没有任何令人兴奋的事情发生?

可能是,(A),尺寸的自我改进δ倾向于使AI足够聪明,可以回去找到新的潜在自我改善kδ然后k大于1,这在一个充分扩展的体系中继续存在自我改进的快速梯级,最终走向超级智能;i。j。Good所说的情报爆炸。也可能是,(B)k小于一个或者所有这样的政体都很小,不会产生超级智能,或者超级智能是不可能的,你得到的是失败而不是爆炸。哪个是正确的,A还是B?如果你真的创造了一个具有特定智能水平的AI,并且它确实尝试着去做这些事,那么在现实世界中就会发生一些事情,而这些事件将由关于算法和可实现的改进的背景事实所决定。

通过对人们进行心理分析,你无法获得关于那个事件的可靠信息。这正是贝叶斯定理告诉我们的事情这就相当于驾驶一辆没有燃料的汽车。有些人是逃避现实者,不管计算机科学中隐藏变量的真正价值,所以观察一些人是逃避现实者并不是有力的证据,即使这可能会让你觉得你想要脱离某种信仰或其他东西。

There is a misapprehension, I think, of the nature of rationality, which is to think that it’s rational to believe “there are no closet goblins” because belief in closet goblins is foolish, immature, outdated, the sort of thing that stupid people believe. The true principle is that you go in your closet and look. So that in possible universes where there are closet goblins, you end up believing in closet goblins, and in universes with no closet goblins, you end up disbelieving in closet goblins.

我们很难,但也不是不可能尝试着从壁橱的缝隙中窥视,去问这样一个问题:“如果以后你不能从认知投资中获得持续的回报,比如AI试图改进自己却失败了,那么现在的宇宙会有什么不同?”在这样的宇宙中,我们还能观察到什么其他事实呢?”

所以你有人说,例如,我们只能能够改善ai到人类水平,因为我们是我们自己,然后我们将无法推动过去的AI。我认为如果这是宇宙的看法,那么我们也应该观察到,例如,递减对计算机国际象棋的硬件和软件投资回报,我们实际上没有观察到。此外,自然选择不应该能够构建人类,而爱因斯坦的母亲一定是一个物理学家等人。

例如,有人说,例如,它应该需要越来越多地调整以获得更智能的算法,并且人类智能围绕着极限。但这与人类智慧的人类学记录没有平衡;我们可以知道没有减少的回报和产生改善认知能力的突变。我们知道这是因为人口遗传学说,统计收益率非常低的突变根本不会进化到固定。

而且原始人的大脑绝对不需要比黑猩猩的大出指数级。约翰·冯·诺依曼的脑袋也没有比普通人的脑袋大多少倍。

在纯粹的语用水平上,人类轴突在围绕速度的速度传播信息,即使在散热时,大脑中的每个突触操作消耗大约一百万倍的最小散热,在300时为不可逆转二进制操作的最小散热。开尔文,等等。为什么认为大脑的软件比硬件更接近最佳?人类智慧主要是主要的智力水平,以足以建造计算机;如果有可能构建具有较少智能的计算机,我们会在这种智能水平上进行这次对话。

但这不是一场简单的辩论,为了详细考虑,我会让人们看看我以前的一篇非正式论文,”智能爆炸微观经济学,不幸的是,这可能仍然是最好的消息来源。但这是人们必须问的一类问题试图利用我们目前可获得的证据来推理我们是否会看到通俗地称为"AI FOOM“ - 是否有延长的制度在哪里δ认知改善,再投入自我优化,产量大于δ进一步的改进。

至于您关于机会成本的问题:

有一个可以想象的世界,没有智慧爆炸,没有过度智能化。或者在哪里,一个相关但逻辑上独特的命题,机器学习专家的技巧将不可避免地积累用于控制Imlahuman AIS对人类等价和超人的制度相当漂亮。或者道德内部主义是真实的,因此所有足够先进的ais都不可避免地很好。在这种可能的世界中,机器智能研究所的所有工作和担忧都没有,无论是一无所有的,也不是必要的,代表违反疟疾基金会可能会购买的一些丢失数量的蚊帐。金宝博娱乐

还有一个可以想象的世界,在那里你努力工作并与疟疾作斗争,在那里你努力工作并将碳排放控制在比现在更糟的水平(或者使用地球工程来减少已经犯过的错误)。但结果却没有什么不同,因为你们的文明没有解决人工智能对齐的问题,你们用疟疾网拯救的所有孩子长大后却在睡梦中被纳米机器杀死。(生动的细节警告!我不知道最后几个小时会是什么样子,也不知道是否会有纳米机器参与。但如果我们乐于想象把蚊帐放在床上是什么感觉,却拒绝具体想象我们的文明在人工智能方面失败会是什么样子,这也会让我们误入歧途。)

我认为,那些试图做深思熟虑的慈善事业的人,比如GiveWell的霍尔顿•卡诺夫斯基(Holden Karnofsky),会毫不犹豫地同意,我们宁愿不进入这两个可以想象的世界。问题是,这两个世界中哪一个更有可能是我们应该避免的。再说一次,理性的核心原则不是因为地精愚蠢而不相信他们,也不是因为地精令人兴奋或美丽而相信他们。理性的核心原则是找出哪些观察的符号和逻辑的有效性可以区分这两个可想象的世界中的哪一个是等同于相信地精的隐喻。

我认为第一世界是不可能的,而第二世界是可能的。我知道,为了让人们相信这一点,我是在向上坡游泳,与一种永恒的常态背道而驰我们这个短暂而短暂的文明只存在了几十年,我们这个物种只存在了进化和地质时间的一眨眼,这一切都是有意义的,而且肯定会永远存在下去。但是,既然我确实认为第一种可想象的世界只是一个美梦,那么我就应该清楚,为什么我们不应该忽视一个我们可以预见之后将不得不恐慌的问题。机器智能研究所的任务就是在今天做一项30年后人们会迫切希望在30年前就开始的研究金宝博娱乐。


约翰:你的妻子Brienne是否相信奇点?


以利以谢一起回答说:

如果有人问我是否“相信奇点”,我会扬起眉毛,问他们是否“相信”机器人卡车。这是个奇怪的问题。我不太清楚第一批自动货运卡车会是什么样子,也不知道它们要多久才能完全取代现代的地面运输。如果有一个具有文化内涵的手提箱术语“机器人卡车主义”,它包括许多具体的技术主张以及整个经济和社会学范式,我不太愿意说我“相信”无人驾驶卡车。我自信地预测,无人驾驶的地面运输将取代现代的人工操作的地面运输,因为如果没有什么奇怪的事情发生,这显然就是我们的发展方向。同样,我自信地预测,情报将会爆炸。如果没有什么奇怪的事情发生,我们显然会去那里。我不太确定“奇点”手提箱里的其他东西。

为了避免对结果产生偏见,布蕾妮在没有看到我其他答案的情况下写下了她的回答。我们只是配合得很好的。


约翰:我们可以在不知道我们的大脑如何工作的情况下创造过度智能化吗?


以利以谢四。in the sense在某种意义上;在某种意义上;你不需要是鸟类生物学方面的专家,但与此同时,你很难掌握足够的知识来制造一架飞机一些关于鸟如何滑翔或用翅膀向下推动空气的高级概念。这就是为什么我首先要写关于人类理性的文章——如果你把你对机器智能的理解推进到一定程度,你就会情不自禁地开始思考人类如何能更好地思考。


约翰超级智能想要什么?他们会有类似性欲的东西吗?


以利以谢想象一个巨大的充满可能性的空间,一个巨大的多维空间。这是Mind Design Space,一组可能的认知算法。想象一下,在这个球体底部的某个地方有一个小点,代表所有曾经生活过的人类。这个小点是因为所有的人类基本上都有相同的大脑设计,有大脑皮层,前额叶皮层,小脑,丘脑,等等。它甚至相对于黑猩猩的大脑设计来说是保守的。我们中的一些人在某些方面很奇怪,你可以说这是一个尖点,但尖点和点本身的规模是一样小的;不管你有多不典型的神经系统,你都不是在用不同的皮层算法运行。

问“超级智能想要什么”是一个错误的问题。超级智能并不是那些生活在大洋彼岸,有着迷人异国风情的怪异部落。“人工智能”只是一个名字,指的是人类这个小点之外的整个可能性空间。有足够的知识你可以进入那个空间的可能性和故意拿出一个AI,希望事情有一个紧凑的描述人类wanting-language,但这不会因为这是一种奇异超智人自然希望,这可能是因为你成功地定位了设计空间的一部分。

在追求物质和能源等事情方面,我们可能会暂时期待部分但不是完全融合 - 似乎应该有很多,许多可能的超级性,这些超级化会有吸引力地想要的问题和能量,以便为巨大品种的终端偏好服务。但即使在那里,一切都受到特殊情况的失败。如果您不想为备用原子拆卸,可以,如果您了解了足够好的设计空间,可以伸出到并拔出不想伤害您的特定机器智能。

性欲那么你的第二个问题的答案是,如果你知道你在做什么,如果你解决了构建AIs的一般性问题,稳定希望特定事物的自我改进和如果你有解决一般问题的艾未未的效用函数确定的事情,看似简单to human intuitions, and you’d solved an even harder problem of building an AI using the particular sort of architecture where ‘being horny’ or ‘sex makes me happy’ makes sense in the first place, then you could perhaps make an AI that had been told to look at humans, model what humans want, pick out the part of the model that was sexual desire, and then want and experience that thing too.

如果你对有机生物学和空气动力学有足够的了解,你也可以制造一架可以与鸟类交配的飞机。

我不认为这是莱特兄弟在早期尝试做的一件聪明的事情。那是绝对没有意义的。

弄清楚如何进入设计领域,并找出一个特殊的AI案例,它将缺少默认的工具偏好,以分解我们的空闲原子,这似乎更明智。


约翰我认为超级智慧的生物是非暴力的,因为他们会意识到暴力是愚蠢的。我幼稚吗?


以利以谢我想是的。正如David Hume可能告诉过你的那样,如果你试图将“愚蠢”谓词应用到代理的终端值或效用函数,你就会犯类型错误。如果对世界的最终国家有某些偏好,行为、选择和政策可能是愚蠢的。如果您碰巧是一个代理,它拥有尚未完全计算的元首选项,那么您可能有一个平台,可以站在上面,并将派生对象级首选项的特定猜测称为“愚蠢的”。

一个回形针最大化器不会因为对结果有一个偏好顺序而产生计算错误,即偏好有更多回形针的结果。它不是站在你自己的偏好框架内,公然选择错误的行为,也不是站在你的元偏好框架内,在偏好上犯错误。它计算的是一个不同问题的答案,而不是当你问“我应该怎么做?”回形针最大化器只是输出导致最大数量的预期回形针的动作。

致命的情景是一个既不爱你也不爱你,因为你仍然由它可以用于别的东西。博弈论,以及囚犯困境中的合作等问题,不要出现在所有可能的情况下。特别是,当某些东西比你有足够的强大时,它们不会出现,因为它可以拆卸你的备用原子你是否尝试按合作或缺陷。过去的阈值,要么你解决了不想伤害你的东西的问题,否则你已经丢失了。


约翰:超级化会解决意识的“艰难问题”?


以利以谢是的,回想起来,从我们的角度来看,答案会显得非常明显。


约翰超级智能会拥有自由意志吗?


以利以谢是的,但是他们不会有自由意志的幻想。


约翰你的乌托邦是什么?


以利以谢我推荐你的读者看我的非小说作品有趣的理论序列,因为我还没有成功地写出任何小说,背景设定在理论上最理想的世界里。


访谈原件可在网站上找到AI预言家Eliezer Yudkowsky谈奇点,贝叶斯大脑和壁橱妖精

特征Miri研究人员的其他对话包括:金宝博娱乐尤多考斯基的"我们现在能做什么? ";论逻辑不确定性;Benya Fallenstein对自我修改系统的障碍障碍金宝博官方;和Yudkowsky, Muehlhauser, Karnofsky, Steinhardt和Amodei关于MIRI战略