Ben Goertzel对AGI作为一个领域的看法

路加福音Muehlhauser本，你积极参与了一个相对较新的学术领域的形成和发展人工总体智能(AGI)。由于MIRI现在正试图共同创造一个新的学术研究领域——领域金宝博娱乐 -我们很想知道你在共同创建AGI研究领域时学到了什么。金宝博娱乐

你能先给我们讲一个早期的小故事吗?当然,人工智能研究者一直在谈金宝博娱乐论人类AI的,偶尔有会议和文章和书籍的主题,但该领域似乎变得更有凝聚力,活跃在你和其他几个人推东西的名字“人工总体智能”。

本Goertzel写到:我从小就对“最终被命名为AGI的主题”很感兴趣，从16岁开始做这个领域的研究(也就是我大学一年级结束的时候，我15岁开始上大学)。金宝博娱乐然而，很快我就发现，“真正的人工智能”(我在推出术语AGI之前私下使用的术语)与学术或行业人工智能领域的典型关注点没有什么关系。这是促使我攻读数学博士学位而不是人工智能博士学位的部分原因。而不是在上世纪80年代计算机科学系流行的那种狭义人工智能上攻读博士学位。我更喜欢在研究生院学习数学，广泛阅读，并准备通过我自己的方法研究“真正的人工智能”……

直到2002年左右，我才真正想过建立一个社区或对“真正的AI”有广泛的兴趣，因为在那之前，这似乎毫无希望。大约在2002年左右，由于种种难以确定的原因，在我看来，世界似乎已经做好了态度转变的准备。所以我开始思考如何更广泛地传播“真正的AI”及其重要性和可行性。

坦率地说，我的主要目标是创造一个环境，让我能够更容易地为自己的真实ai项目吸引大量资金或志愿者合作研究。金宝博娱乐但我也对更广泛地促进真正的AI工作感兴趣，而不仅仅是我自己的方法。

我在这个方向上的第一个创举是编辑一本由研究人员编写的章节组成的书，这些研究人员致力于实现雄心勃勃的人工智能项目，目标是一般智能、人类水平的智能等金宝博娱乐等。这需要一些挖掘，找到足够多的人来贡献章节——即那些既做相关研究，又愿意为这样一本书贡献章节的人。金宝博娱乐它还要求我为这本书找到一个标题，这就是术语“AGI”的由来。我最初的工作名称是“真正的AI”，但我知道这太前卫了——毕竟，狭义的AI本身也是真正的AI。所以我给一群朋友发了电子邮件，征求他们对书名的建议，谢恩·莱格提出了“人工通用智能”。我觉得“AGI”缺乏“人工生命”等其他术语所具有的某种活力，但这是我得到的最好的建议，所以我决定采用它。人们对这个词的反应普遍是积极的。(后来我发现一个名叫Mark Gubrud的人之前在一篇文章中使用过这个词，这篇文章主要关注未来的技术。我终于在DC的AGI-09会议上见到了Mark Gubrud。)

直到2005年我开始和Bruce Klein一起工作，我才在社区建设上有了很大的努力。布鲁斯是一位坚定的未来主义者，他对生活的主要关注是人类的不朽。我是在他来马里兰州找我拍纪录片时认识他的。之后我们谈了一些，我说服他接近永生的一个很好的方法是建立AGI系统来解决与生命延长相关的生物学问题。金宝博官方我请布鲁斯帮我为AGI研发筹集资金。敲他的头后招聘$ $从投资者的问题,他决定将是有用的第一次提升美国国际集团追求的形象一般,这将创建一个环境对自己的美国国际集团研发提高$ $就容易了。

所以Bruce和我想出了组织AGI会议的主意。2006年，我们在贝塞斯达举办了第一个AGI研讨会。布鲁斯负责后勤工作;我从我自己的社交网络中招募研究人金宝博娱乐员，当时我的社交网络还很小。如果没有Bruce的推动，我不会想要举办会议和建立一个社区——这更像是Bruce的方法，而不是Ben的方法。我注意到，几年后，Bruce在奇点大学的建设中发挥了关键作用。戴曼迪斯和库兹韦尔当然是让这一切发生的大人物;但如果没有Bruce的组织跑腿工作(以及他当时的妻子Susan Fonseca)，在首次SU愿景会议之前的6个月时间里，SU不可能走到一起。

AGI研讨会进行得很顺利——那时我才完全意识到，有很多人工智能研究人员在那里，他们秘密地怀有AGI的兴趣和抱负，甚至研究项目，但由于声誉风险而没有公开讨论这些。金宝博娱乐

从最初的AGI研讨会加强的关系中，AGI会议系列诞生了——第一次全面的AGI会议是2008年在孟菲斯大学举行的，从那时起就每年举行一次。会议在AGI研究者之间播下了大量的合作和友谊，否则他们将继续以一种孤立的方式运行，并通过赋予AGI追求更多的合法性产生了间接的影响。金宝博娱乐他们汇集了对AGI感兴趣的工业、学术和政府研究人员，以及来自许多不同国家的研究人员。金宝博娱乐

利用会议带来的日益增长的合法性，我做了其他各种社区建设的事情，比如在AI领域的主流期刊《AI杂志》上发表了一篇关于AGI的合著论文。这篇论文的合著者包括一些来自IBM等大公司的人，以及一些享有盛誉的“老式AI”人士。最近还出现了其他一些类似于agi的会议，例如BICA和Cognitive Systems。金宝博官方最初，我帮助推动了BICA会议的开展，尽管我并没有发挥主导作用。我认为AGI会议帮助创造了一种环境，在这种环境中，其他相关的小型会议的出现似乎是自然和可接受的。

当然，我们无法评估我的社区建设工作有多大影响，因为我们不知道如果没有我的努力，AI领域会如何发展。但是，根据我的理性估计，我的这类举措似乎产生了严重的影响。

我从这次经历中总结出以下几点经验:

1. 你需要在正确的时间做正确的事。有了AGI，我们开始了我们的“运动”，当时有很多研究人员金宝博娱乐想要做和谈论AGI，但羞于向同行承认。因此，从某种意义上说，AGI的兴趣“蓄势以待”。
2. 只有事后看来，那才是正确的时机。在现实中，为了继续前进，创建一个社区需要承担很多创业风险，并容忍多次被称为愚蠢，包括被你尊敬的人。风险包括很多方面，比如花费大量的时间，小心翼翼地建立声誉的风险，以及个人资金的风险(例如，即使是像会议这样的东西，场地和餐饮的保证金也必须从某个地方来……对于第一个AGI研讨会，我们希望尽可能多地吸引合适的人参加，所以我们就免费举办了，这就意味着布鲁斯和我——主要是布鲁斯，因为他当时有更多的资金——可以用我们有限的个人资金来支付费用。)
3. 作为一个数学/科学/哲学迷，我本能地意识到社交网络和社区建设比我花费的时间要有用得多。当然，那些天性较善交际、不那么讨人嫌的人，天生就会意识到这些追求的效用。我必须通过经验和布鲁斯·克莱因的专业指导来学习。

路加福音早期的AGI领域是否与早期的“人类级人工智能”(HLAI)讨论有很大的连续性?有一些文章是由尼尔森，麦卡锡，Solomonoff，Laird尽管我不确定是否有关于这个主题的会议或重要的编辑卷。

本重要的是，在试图将AGI作为一个领域和社区向前推进的过程中，我们没有在这些早期讨论中发现我们的整体努力。

此外，AGI会议的一个关键方面是他们在采取何种方法方面的绝对中立。例如，这将AGI会议与BICA或认知系统区别开来。金宝博官方尽管我对什么方法最有可能成功有自己的看法，但我希望会议能够在智力上对所有人开放，对所有具有高级AGI目标的方法都平等开放……

然而，从早期阶段就参与AGI运动的特金宝博娱乐定研究人员肯定受到了您提到的这些较早的讨论的极大启发。例如，Marcus Hutter在最初的AGI书中有一篇论文，并且一直是会议上的主要力量，受到所罗门的强烈启发。保罗·罗森布鲁姆(Paul Rosenbloom)是这些会议的主要参与者;Selmer Bringsjord有着SOAR的背景，与传统美国人工智能领域的优秀创始人一起工作……Selmer Bringsjord基于逻辑的AGI方法当然让人想起麦卡锡。等。

因此，概括地说，我认为以前的讨论倾向于将AGI问题与某种特定的AGI方法绑定在一起，而我更倾向于将目标与方法更清晰地分离开来，并创建与该方法相关的中立社区……

路加福音:人工通用智能杂志看起来它的历史上大部分时间都很安静，但是会议系列似乎很成功。你能谈谈这两个项目的挑战和明显影响吗?它们是如何相互比较的?

本老实说，一个月一个月地看，我和JAGI没有什么关系。松散地说——这些会议就像我的宝贝;这本杂志是我的朋友兼同事王沛博士的宝贝。我是该杂志的编委会成员，但到目前为止，我的参与仅限于帮助高层战略决策(比如不久前贝聿铭建议把杂志搬到Versita平台上，我赞成)。

因为除了我自己的研发工作之外，我的时间有限，所以我个人决定把注意力集中在会议上，而不是杂志上。这是因为我觉得，除了提供一个发表论文和获得会议论文集的正式场所之外，这些会议将有很大的力量来建立非正式的联系和社区建设。

我能说的一件事是，贝聿铭很早就做出了明确的决定，在期刊上发表论文时注重质量而不是数量。我想他已经成功地获得了高质量的论文。

我认为JAGI是一个重要的倡议，有真正的潜力在未来成长，并成为一个重要的期刊。我们需要采取的一项重要步骤是让它被SCI收录，这很重要，因为许多学者只有在SCI收录的期刊上发表文章才能获得“大学印象分”。

路加福音:你能说说你为AGI会议的启动和发展付出了哪些特别的努力吗?基本上，你会给那些想用其他新技术学科做同样事情的人什么建议?

本:在早期阶段,我努力伸出一对一的研究人员,我觉得会同情播洒的主题,并明确要求他们提交论文和来参加会议,这包括一些研究者个人谁我不知道,金宝博娱乐但知道只有通过他们的工作。

最近，会议主题演讲已经成为将新人引入AGI社区的有用工具。从事相关工作的人可能并不认为自己是AGI研究人员，因此不会向会议提交论文，但他们仍然可能接受发表主题演讲的邀请。金宝博娱乐在某些情况下，这可能会让他们以一种持久的方式对AGI领域和社区感兴趣。

我们还努力不让AGI过于狭隘地卷入计算机科学领域——通过举办关于神经科学、机器人、未来学等方面的特别会议，并明确邀请来自这些领域的人们参加会议，否则他们不会想参加。

我们做的其他事情是持续维护我们自己的对agi感兴趣的人的邮件列表，通过各种方法构建，包括
在会议网站上寻找发表过与AGI相关论文的人。我们与AAAI建立并保持了关系，这使我们能够在他们的杂志上做广告，并向他们的会员发送明信片，从而使我们能够获得更广泛的影响。

无论如何，我认为这只是基本的组织机制——并非特别针对AGI。这类事情对我来说是相当自然的，因为几十年来我一直看着我妈妈组织各种各样的事情(她是社会工作领域的领导者，这个月就要退休了)。但我不认为它有什么特别之处——只有内容物质(AGI)是特别的!

如果我以某种方式在这个社区建设过程中打上我个人的印记，那可能是通过特别包容的方式进行的。我的态度是，既然AGI是一个早期阶段的领域(尽管加速发展意味着领域可以从早期发展到高级阶段的潜在快速发展)，我们应该以社区范围内头脑风暴的精神，对任何明智的观点持开放态度。当然，我们每个人都必须决定在自己的工作中接受和认真对待哪些观点，每个研究者可以与那些分享更多自己方法的人进行更深入的讨论金宝博娱乐但是一个广泛的社区的一个重要角色，就像我们通过AGI会议培养的那样，是让人们接触到不同于他们在日常工作中遇到的想法和观点，但仍然具有概念(有时甚至是实际)相关性……

路加福音对于那些试图创造“友好的人工智能研究”领域的人，您有什么特别的建议?金宝博娱乐例如，这个术语本身就不是最理想的，尽管我强烈反对一些最明显的替代，如“安全的AI”或“优秀的AI”。

本好吧，我同意你的观点，即“友好的人工智能”这个术语不太可能在学术界或工业界的研究人员中流行起来，也不太可能在媒体中流行起来。金宝博娱乐这是你在建立FAI社区时所面临的一个问题。我没有一个好的替代方案，但我会考虑的。在这种情况下，我经常倾向于使用“有益的”这个词，但我意识到这个词听起来并不短或漂亮。

以AGI领域为例，我有一个问题是，是否有研究人员已经在研究友好AI，但没有将他们的工作称为友好AI或广泛讨论它;金宝博娱乐或者渴金宝博娱乐望从事“友好型人工智能”研究的研究人员或学生，但由于社会对该话题的歧视，他们不愿这么做。如果是这样的话，10年前的AGI领域也有类似的情况。如果不是，那就没有相似的类比了。我认为，如果没有这样一个“地下原始社区”的存在，引导地上社区的形成是一个更困难的问题。

当然，FAI研究的某些戏剧性成功将吸引人们进入该领域。金宝博娱乐但这是一个先有鸡还是先有蛋的问题，因为如果该领域有更多的人，就更有可能取得巨大成功。在AGI还没有取得巨大的成功，但我们已经稳步建立了一个研究人员社区。金宝博娱乐(无论如何，已经有了各种各样的、适度的成功……!)

除了这些显而易见的东西，恐怕我没有什么好的建议可以提供。例如，如果你能让一些著名的研究人员将他们的声誉置于FAI研究是一件非常重要的事情之金宝博娱乐后，这将是一个很大的帮助。然后被一个友好的人工智能的设计是由一组熟练地引导FAI理论家偷偷写在餐巾纸上方程;D……或者找个人写一本类似于奇点附近但FAI集中与一个主题——即“奇点——附近很有可能吗,无论是积极的还是消极的事件对人类可能取决于我们知道我们在做什么,因为它的方法,理解FAI更好的知道我们所做的一个重要方面是…”…我相当确定以利以谢Yudkowsky可以写一本好书如果他想在这个主题,例如。

我认为，FAI要想成为一个严肃的领域，关键是要在FAI研究人员和其他相关领域(如AGI、神经科学、认知心理学、计算机安全等)的工作人员之间仔细而彻底地建立联系。金宝博娱乐如果FAI被认为主要是学术哲学家和抽象数学家的领域，它就不会流行起来——因为毕竟，学术哲学家上一次避免了一场大灾难，或者创造了一些巨大的实际利益是什么时候?更彻底地将FAI与真实的东西——指的是人们在世界上实际做事情，发现新的发明或实际事实，而不是仅仅写哲学论文或证明不可行的理论人工智能系统的定理。金宝博官方我认为，将家庭健康倡议和MIRI的人聚集在一起的研讨会对建立一个真正的家庭健康倡议社区没有太大帮助。

类比于我在AGI社区建设方面的经验，我想说的是，组织一个面向fai的会议(这个名字不包括“友好的AI”)，将来自不同学科、有着广泛观点的人们聚集在一起，自由地讨论相关问题，并且没有任何隐含的假设，即MIRI/FHI观点是最可能的解决方案，这将是一个合理的开始。

一个小评论是，由于MIRI在未来主义社区中与友好人工智能的一个非常特殊且有些狭隘的观点密切相关，如果要努力建立一个关注FAI的更广泛的研究社区，金宝博娱乐如果MIRI与其他一些组织或具有更大包容性的声誉的组织合作，可能会更好。

更广泛的评论是:我想知道MIRI是否把问题的框架定得太窄了。在KurzweilAI对詹姆斯·巴拉特(James Barrat)新书的评论中，你将“友好的人工智能”研究定义为:“弄清楚如何确保第一个自我改进的智能机器对人类金宝博娱乐友好，并保持这种方式。”

但在这个公式中有很多可怕的假设。它表现出对某些研究方向的强烈偏见，这些方向可能是，也可能不是最好的。金宝博娱乐例如，全球大脑研究所(Global Brain Institute)的弗朗西斯·海利恩(Francis Heylighen)、大卫·魏因鲍姆(David Weinbaum)和他们的同事们就人工智能和人类灭绝的风险有一些有趣(而且可能有价值)的观点，但硬要把他们的想法硬塞进上述构想中，他们可能不会感到舒服。

所以我认为你应该找到一种更好的方式，在FAI研究的基础上，以更广泛的方式阐明核心关注，这将吸引更多具有更广泛的知识背景、兴趣和理论方向的研究者。金宝博娱乐根据我的理解，你真正关心的问题是:随着人工智能的进步超过了人类的水平
随着技术的进步，这个世界继续成为一个可以被人们合理接受(甚至是令人敬畏的!)的地方。对你来说，这听起来就像“弄清楚如何确保第一个自我改进的智能机器是对人类友好的，并保持这种方式。”“但对每个人来说都不一样……

国际海事组织一个新兴FAI社区,是有效的,必须开放,各种不同的概念方法”的几率增加,随着人工智能的发展超出了人类层次和联合技术进步,世界仍然是一个相当可以接受的(甚至可能是太棒了!)根据人类价值观。——包括那些与自我改进机器没有直接关系的方法。具有讽刺意味的是，我怀疑这将导致创造性思维涌入研究人员的亚群体，这些亚群体专门关注“如何确保第一个自我改进的智能机器将是对人类友好的，并将保持这种方式。”金宝博娱乐

路加福音:谢谢,本!