友好的AI研究作为有效的金宝博娱乐利他主义

||分析

Miri成立于2000年，前提是创造的前提1友好的ai可能是一种特别有效的方式，可以尽可能多地做得很好。

从那以后的一些发展包括：

鉴于这些发展，我们比以往任何时候都在更好的位置，以评估友好的AI研究价值作为有效的利他主义。金宝博娱乐

仍然是一个难题。这足以评估成本效益的具有挑战性抗疟疾网或者直接的现金转移．评估尝试塑造远现的成本效益（例如，通过友好的AI）更困难。因此，这篇简短的文章概述了一个论点，即支持友好的AI研究是有效的利他主义，以便于未来的讨论金宝博娱乐,是并非旨在作为彻底的分析。

友好AI研究的论点作为有效的利他主义金宝博娱乐

Beckstead (2013)辩称5.对于以下论文：

从全球性的角度来看，最重要的是（期望）的是，我们为一般轨迹做出最好的（预期），我们的后代在未来的数百万，数十亿和十亿多年发展中。

为什么这么认为？天文事实表明，人类（包括“人文后期”）可以生存数十亿或十亿岁（亚当斯2008.），因此可以产生巨大的好处。6.但我们未来产生的价值取决于我们的发展的轨迹．如果人类在21世纪的强大技术摧毁自己，那么几乎所有未来的价值都会丢失。如果我们生存但沿着冲突统治的轨迹和决定差的轨迹，那么未来可能比我们的轨迹占利于利他主义和智慧的轨迹。此外，我们今天的一些行动可以有“涟漪效应”7.确定人类发展的轨迹，因为许多结果是路径依赖．因此，它直接或间接地沉淀特定轨迹的变化（例如减轻存在风险）动作可以具有比具有仅靠近好处（例如省电20只野生动物的生命的）操作得多值（期望值）。Beckstead称之为“粗略的未来整形论点”。

如果我们接受这种论证背后潜伏的规范假设（例如，风险中立;see Beckstead’s dissertation), then the far future is enormously valuable (if it goes at least as well on average as the past century), and existential risk reduction is much more important than producing proximate benefits (e.g. global health, poverty reduction) or speeding up development (which could in fact increase existential risks, and even if it doesn’t, has lower expected value than existential risk reduction).

然而，贝克斯特德的结论并不一定意味着降低生存风险应该是我们全球的优先事项，因为

可能还有其他方法可以在不降低存在的风险的情况下对远期产生大的，持续的影响...值和社会规范的一些持续变化可以使未来[部分分数]更好或更糟......当然，成功地防止了存在的灾难会比制作​​较小的轨迹变化更好，但创造了小的积极轨迹变化可能会显着更容易。

相反，贝克斯特德的观点认为，“塑造遥远的未来，最重要的是产生积极的轨迹改变，避免消极的轨迹改变。”生存风险降低是一种重要的积极的轨迹变化它可能是具有最高期望值的干预措施。

一个重要的澄清是有序的。如果努力实现渡件或发展加速，可能会努力实现近似福利或开发加速度的措施更好的努力，这是促进福利或发展加速，以产生重要的纹理变化。例如，也许是一个像解决印度的“普通的利他努力”碘缺乏的问题将导致从现在起两代人之后会有成千上万的“额外的”世界级精英思想家，这可能会增加人类在关键的21世纪中智慧航行并向其他星球传播的机会。(我认为这是不可能的;我建议只是为了说明。)

为了论述，假设您同意Beckstead的核心论文，即“最重要的（在期望）的是，我们为我们的后代发展的一般轨迹做了最好的（期望）。”假设你也认为，就像我一样，那个机器的超理可能是不可避免的。8.

在这种情况下，您可能认为友好的AI研究是一种以极大的积极方式塑造远未来的独特可预见而有影响力的金宝博娱乐方式，因为“我们对远期的影响必须几乎完全通过了我们对机器超智力发展的影响。”所有其他发展趋势都可能被机器过度智能化的压倒性效力覆盖 - 而且具体地，通过写入机器的超高化的价值（明确或明确或间接地）。

如果是对的话，我们的情况有点像发送星际探针殖民遥远的太阳能系统金宝博官方在他们退缩之前宇宙地平线因此，由于宇宙的扩张．地球上任何不影响探测器内容的东西都不会对这些太阳系产生影响。金宝博官方(见也这样的评论．)

潜在的击败者

上面的粗略论点 - 支持友好的AI研究作为一种有效的有效利他主义的努力 - 值得更详细地“蓬勃发展”。金宝博娱乐9.

还应检查潜在的击败者：

  • 也许我们应该拒绝Beckstead粗糙的未来塑造论点背后的一个或多个规范假设。
  • 也许这并不是真的，“我们对远期的影响必须几乎完全通过了我们对机器过度智能发展的影响。”
  • 也许友好的AI研究不是（今天）一项特别有金宝博娱乐效的方式来积极影响机器超级化的发展。竞争干预措施可能包括：（1）AI风险战略研究金宝博娱乐，（2）改善技术预测（3）一般改善科学（4）改善和传播有效的利他主义和理性（5）许多其他人。

在未来的博客文章中，有效的利他主义者社区的成员(包括我自己)将扩展原来的论点，并检查潜在的失败者。

致谢

我要感谢那些对这篇文章提供反馈的人:Carl Shulman, Nick Beckstead, Jonah Sinick和Eliezer Yudkowsky。

  1. 在这篇文章中，我谈论的价值人类一般虽然Miri联合创始人Eliezer Yudkowsky通常会谈特别是米里- 或者至少，功能等同 - 创建友好的AI。这是因为我并不像yudkowsky那么充满信心，最适合Miri试图建立友好的AI。在2013年初更新Miri的章程时，Yudkowsky和我对Miri的使命宣言的语言妥协了，现在读取：“[Miri]存在，以确保创造聪明的智慧具有积极影响。因此，[miri]的慈善目的是：（a）与确保智慧的智力具有积极影响的研究进行研究;金宝博娱乐（b）提高对这一重要问题的认识;（c）建议世界各地的研金宝博娱乐究人员，领导者和外国人;（d）必要时，实现一个比人类更聪明的智能和人道的、稳定的目标”(重点补充)。我自己的希望是，MIRI(或功能对等体)没有必要尝试自己构建Friendly AI。但当然，我必须对这种可能性保持开放态度，即这将是作为第一个人工智能创造的最明智的行动方针越过近．还有能力问题：很少有人认为非营利性研究组织有很大的机会成为第一个建立AI的机会。金宝博娱乐I worry, however, that the world’s elites will not find it fashionable to take this problem seriously until the creation of AI is only a few decades away, at which time it will be especially difficult to develop the mathematics of Friendly AI in time, and humanity will be forced to take a gamble on its very survival with powerful AIs we have little reason to trust.↩
  2. 人们可能会认为有效的利他主义是一个简单的应用决策理论关于慈善事业的话题。所有类型的慈善机构(个人、团体、基金会等)都会问自己:“考虑到我们所关心的事情，我们如何选择能够(在预期中)尽可能多地做好事的慈善行为(例如捐赠)?”以下的共识建议所有在不确定性下的各种选择，包括慈善选择，是最大化预期的效用（Chater & Oaksford, 2012;彼得森2004.;Stein 1996.;施密特1998：19）。不同的慈善代理价值不同的东西，但决策理论表明，如果他们每个人最大化预期效用，他们每个人都可以获得他们想要的大部分。最大化预期效用的选择是在这个意义上的“最佳”，因此有效的利他主义的另一个术语是“最佳慈善事业。“请注意，从慈善事业的早期方法都没有过于不相似，包括高影响慈善事业(“鉴于投资的资本金额，可能是最大的差异“），战略慈善事业那有效的慈善事业,聪明的慈善事业．还要注意的是，有效利他主义并不是说一个慈善代理应该对结果指定完整的效用和概率函数，然后用最高期望效用来计算慈善行为——这对有界代理来说是不切实际的。我们必须记住决策的规范性模型、描述性模型和规范性模型之间的区别(Baron 2007):“规范性模型告诉我们如何根据背离理想标准来评估……决策。”描述性模型具体说明了特定文化中的人们实际做什么，以及他们如何偏离规范模型。规范性模型是设计或发明，其目的是使实际思维的结果更接近于规范性模型。”的说明性的问题 - 关于有限的慈善代理人应该如何使预期效用与慈善选择 - 往往是非常复杂的，是大多数由有效的利他主义社区进行的大多数研究的主题。金宝博娱乐↩
  3. 看到的,例如:高效慈善机构那有效率的慈善:善待他人那政治作为慈善机构那慈善中的启发式和偏见那公共选择与利他主义者的负担那论慈善和线性效用那人类最佳慈善事业那单独购买Fuzzie和Utilols那金钱：关怀的单位那优化模糊和犹太人：利他主义芯片罐那高效慈善事业：本地与全球方法那发展中国家援助的有效性那反对低级校园和成本效益的慈善机构那贝叶斯调整不会破坏存在的风险慈善机构那如何拯救世界,什么是最佳慈善事业？↩
  4. 我相信贝克斯特德和博斯特罗姆为研究界做出了巨大的贡献金宝博娱乐框架,一个共享语言，用于讨论轨迹变化，存在的风险和机器的超智意识。在与同事与同事讨论这些主题时，往往是这种情况的讨论只是试图了解对方的说法 - 他们如何使用他们所采用的条款和概念。Beckstead和Bostrom最近的工作应在研究人员之间进行更清晰，更高效的沟通，从而提高研究生产力。金宝博娱乐虽然我不知道任何对共同语言对研究生产力影响的控制，但共享语言被广泛认为对任何研究领域都有很大的好处，我将提供一些出现的本发明索赔的例子金宝博娱乐打印。Fuzzi等。（2006）：“使用不一致的术语可以很容易地导致来自大气和气候研究的不同[学科]的专家之间的沟通的误解和混淆，因此可能会妨碍科学的进步。”金宝博娱乐Hinkel（2008）:技术语言使它们的用户，例如科学学科的成员，能够就感兴趣的领域进行有效的交流。Madin等人。（2007）：“术语模糊速度缓慢科学研进步，导致冗余的研究努力，最终阻碍了对生态科学的统一基础的进步。”金宝博娱乐↩
  5. 除了Beckstead的论文，还要参见天文浪费论的调整建议．↩
  6. Beckstead没有提到这一点，但我想指出，Beckstead的论点不需要道德现实主义。事实上，我通常接受Beckstead的论点，即使大多数哲学家不会认为我是一个道德现实主义者，虽然在某种程度上是一个语义辩论（Muehlhauser 2011.;乔伊斯2012.)．如果你是一个道德现实主义者，你相信你的直觉道德判断是道德正确的数据，那么Beckstead的论点(如果成功的话)会告诉你什么是道德正确的，你应该怎么做，如果你想以道德上好的方式行事。如果你是一个道德上的反现实主义者，但你认为你的直觉判断是关于你看重什么的数据——或者是关于如果你有更多时间思考你的价值观以及如何解决它们之间的矛盾，你会看重什么——那么Beckstead的论点(如果成功的话)就能说明你看重什么，以及如果你想帮助实现你看重的东西，你应该做什么。↩
  7. Karnofsky称之为“主要材料的影响。“↩
  8. 看博斯特罗姆(即将出版)对于一个扩展的论点。也许是机器超智力最有可能的碎片是，在创造人级AI之前，全球灾难可能会停止科学进展。↩
  9. Beckstead，在个人通信，建议（但没有义务核准）粗糙参数的形式化之后在博客文章的正文勾勒：“（1）第一个近似值，人类的未来才是最重要的。（2）比其他任何东西更大，人性的未来对机器智能展开的方式非常敏感。（3）因此，有一个非常强烈的推定，有利于在任何项目中展开机器智能的项目。（4）FAI R金宝博娱乐esearch是制造机器智能的最有希望的路线，以更好的方式展开。（5）因此，有一个非常强烈的推测，有利于进行FAI研究。“金宝博娱乐Beckstead (2013)检查（1）的情况。博斯特罗姆(即将出版)在很大程度上，审查（2）的情况。前提（3）非正式遵循（1）和（2），结论（5）非正式遵循（3）和（4）。前提（4）似乎是我是最具可疑的部分的争论，最不探讨了现存文学。↩

你喜欢这篇文章吗？你可以享受我们的另一个分析的帖子,包括: