MIRI是一个非营利金宝博娱乐性的研究机构，专门研究理论计算机科学中缺乏探索的一系列问题。givedirectly是一个现金转移服务，为东非的贫困家庭提供资金。什么样的会议将从这样的不同组织中汇集代表 - 以及政策分析师，慈善家，哲学家等等？
有效的利他主义全球，开始它牛津会话在几个小时内，就是那种会议。有效的利他主义(EA)是一个由各种各样的行善者组成的社区，他们对利用科学工具解决世界上最大的问题有着共同的兴趣。像GiveDirectly这样的EA组织有效利他主义中心和慈善评估员赠送呼吁在非营利领域建立透明度和人道主义影响的新标准，引起了很大的轰动。
什么是Miri与有效的利他主义的联系？在什么意义上是人工智能“利他主义”的安全研究以及金宝博娱乐为什么我们在未来几十年中为这是一个批判性重要的计算机科学领域，为此分配了很高的概率？我将为以下每个问题提供快速答案。
Miri和有效的利他主义
为什么MIRI与EA相关?很大程度上是因为有效的利他主义者和MIRI在决定工作优先级时使用了相同的标准。
美里的任务我们的整体观点是，科技进步将成为人类福祉的最大决定因素之一，就像历史上的情况一样。金宝博官方因此，智力劳动自动化很可能成为一个独特的高影响力的研究领域——无论是好是坏。金宝博娱乐(见四个背景要求。） 哪一个开放的问题我们在努力中努力揭示了识别贸易和忽视的理论前提条件，以使AI系统的目标与我们的价值观调整。金宝博官方(见Miri的方法．)
丹尼尔·杜威，尼克·博斯特罗姆，埃隆·马斯克，内特·苏亚雷斯和斯图尔特·罗素
讨论EA全球会议的风险。拍摄者罗比阴影．
Miri远离唯一使用这些标准的群体来确定重要原因区域和干预措施，这些群体发现扎带是具有更大影响的有用方法。Because members of these groups aren’t permanently wedded to a single cause area, and because we assign a lot of value to our common outlook in its own right, we can readily share resources and work together to promote the many exciting ideas that are springing out from this outlook. Hence the effective altruist community.
这个有用的交易所的一个例子是Miri的以前的执行董事Luke Muehlhauser，离开米里6月，调查营养科学和其他领域的潜在慈善机会开放慈善项目，一个赠送露面。1反过来，OpenPhil帮助资助了一个大型AI赠款项目那米里参加了。
GiveWell/OpenPhil的员工给了我们极大的帮助关键反馈在过去的几年里，我们已经和他们进行了多次对话(1，2，3.，4，5）。Although they work on a much broader range of topics than MIRI does and they don’t share all of our views, their interest in finding interventions that are “important, tractable and relatively uncrowded” has led them to pick out AI as an important area to investigate for reasons that overlap with MIRI’s. (See OpenPhil’s3月更新全球灾难性风险以及他们最新发布的概述文档高级人工智能的潜在风险．)
大多数EAS在AI风险以外的地区工作，Miri的方法远非唯一可怜的方式对人类福利产生外部影响。Because we attempt to base our decisions on broadly EA considerations, however — and therefore end up promoting EA-like philosophical commitments when we explain the reasoning behind our research approach — we’ve ended up forming strong ties to many other people with an interest in identifying high-impact humanitarian interventions.
高风险和高概率风险
关于EA遗嘱区域的令人惊讶的常见误解是他们分为三组：高概率危险折磨全球贫困;中等概率危机困扰非人类动物;和低概率全球灾难。假设（例如，在迪伦马修斯最近vox.文章）这就是致力于AI安全或生物安全的论据：发生了很小的灾难机会，但如果发生这种情况，灾难将是如此可怕，以防万一。
这误解了MIRI的立场——我相信，也误解了人类未来研究所和其他一些组织中对技术风险感兴趣的人的立场。我们相信，如果我们不采取任何措施来避免，失调的自主AI系统的存在风险是很高的，我们的MIRI案例就是基于这一观点;金宝博官方如果我们认为来自人工智能的风险不太可能出现，我们会优先考虑人工智能对齐研究，以支持其他紧急的研究项目。金宝博娱乐
因此，我们预计谁强烈不同意我们关于AI领域的可能未来轨迹，以便在AI风险以外的区域上工作。我们不认为EA应该捐赠给Miri“以防万一”，我们188betapp拒绝基于"帕斯卡被劫"的论点”(“帕斯卡尔的抢劫“Miri研究人员是否因为决策而被误认金宝博娱乐为是巨大的超薄巨大效益的缺乏态度。）2
正如Stuart Russell写的那样“提高决策质量，无论选择的效用功能如何，都是AI研究的目标 - 我们现在每年花费数十亿美元的主流目标，而不是一些孤独的天才的秘密情节。”金宝博娱乐成千上万的人小时正在倾注研究，以提高AI系统的一般能力，目的是建立可以在任意认知任务中金宝博娱乐超越人类的系统。金宝博官方
我们不知道什么时候这些努力将会成功，但我们期望它们最终会成功- -可能在今后几十年，而且很可能在本世纪成功。支持安全保障自动人工智能系统将让我们从人工智能的金宝博官方进步中获得更多好处，同时从长期来看显著降低全球灾难的可能性。
Miri使聪明于人类的AI技术可靠有益的使命是雄心勃勃的，但它以“防止全球变暖”或“废除工厂耕作”的方式雄心勃勃。致力于这样的目标通常意味着使其他演员可以建立渐进的进展 - 更像是在抛弃儿童大学基金的每个月薪水的$ x，而不是购买一系列一系列的$ x彩票票。
特定的100美元不太可能对孩子的职业前景产生大量的一次影响，但它仍然可以投资聪明。没有单一的慈善机构努力解决全球变暖，将解决整个问题，但这并不会无用的慈善捐款。虽然Miri是一个小型组织，但我们的工作代表了更强大，透明和有益的AI系统的早期进展，然后可以由其他组建立并集成到AI系统设计中。金宝博官方3.
尽管如此，而不是说AI介导的灾难是高概率和停止在那里的灾难性，并且我会说，这种灾难是对其当前轨迹的持续研究的高概率条件。金宝博娱乐如果AI偏移的字段包括对准工作以及其关键侧重于重点之间的功能，则灾难不一定是高概率。
这是因为我们既不考虑ai灾害不太可能也不不可避免的我们认为这一领域的技术工作很重要。从有抱负有效的利他主义者的角度来看，如果我们不做任何不可能的话，最重要的风险将是在不久的将来出现的风险，但如果我们努力解决问题并获得现有的研究社区，那么大大可能发生金宝博娱乐和科学机构有关。
原理如此适用于AI域外，虽然Miri目前正在唯一的组织专业从事AI对准的长期技术研究，我们是一个庞大而越来越多的组织之一，这些金宝博娱乐组织试图将这些底层的EA原则置于一种时尚或其他方式。在这方面，虽然有效的利他主义者不同意改善世界的最佳方式，但我们最终发现自己在同一团队中。
- 虽然有效的利他主义是有时分裂进入独立的远期，动物福利，全球贫困和“元”原因区域，这一直是一个人为划分。Toby Ord，贫困救济组织的创始人尽我们所能，是研究存在风险的主要学者之一，在美国人文研究所的未来．David Pearce是EA中最强烈的动物保护主义支持者之一，他以其未来主义而闻名。彼得·辛格因早期推动全球贫困事业和促进动物福利而闻名。安娜·萨拉蒙，“元”项目的执行董事应用理性中心，是一位前米里的研究员。金宝博娱乐↩
- 报价2013年Miri高级研金宝博娱乐究员Eliezer Yudkowsky：
当涉及到存在风险时，我发誓、驳斥并否认所有形式的帕斯卡利(pascalan)推理，以及将微小的概率与大的影响相乘。我们生活在一个即将到来的星球上，其中包括人类智能增强、分子纳米技术、足够先进的生物技术、脑机接口，当然还有多种形式的人工智能。如果某件事对世界命运的影响只有很小的可能性，那么应该有更大的可能性对世界产生同样巨大的影响。[…]
澄清一下，“不要将微小的概率与大的影响相乘”是我在大型项目和历史概率线中所使用的原则。在很大程度上，如果你认为FAI(友好AI)有很大的机会拯救世界，那么人类就应该投入大量精力，如果没有人投入精力，那么你就应该投入比现在更多的精力。规模较小,比较两个x-risk减排项目需求的钱,你需要估计一下边际的影响下添加工作量(utilons的共同货币应该不是救人,而是“一个好的结果的概率”,也就是说,结束了一个快乐的星际文明的概率)。在这种情况下，平均边际增加的美元只能解释很小一部分的概率，但这不是帕斯卡的赌注。带有成功或失败标准的大努力将正确、公正且不可避免地以每增加一个小的努力单位的成功概率略微增加而告终。如果通向一个好的结果的整个路径被赋予一个很小的概率，然后一个大的收益用来停止下一个努力单位是应该到达那里还是到另一个不同的x风险的进一步讨论，这将是帕斯卡赌注。
- Nick Bostrom在EA Global造成了类似的观点：即使任何一个人的行为不太可能做出决定性的差异，也是一个重要的原因。在一个人造超级理智的小组中，波斯特罗姆表示，他认为人们有一个“低”（而不是“高”或“中等”）对AI风险产生差异的可能性，这是马修斯和其他一些似乎已经采取的意味着博克斯特认为AI是一个投机原因区域。然而，当我向Bostrom询问他自己的意图时，他详细说明了：
我在EA全球评论中所做的一点是你（对于你在观众中的任何'你'的概率）将从AI灾难中拯救世界非常小，而不是AI灾难的概率非常小。因此，致力于AI风险类似于总统选举活动的志愿服务。
