美里的任务是“确保创造比人类聪明的智力有积极的影响。”
一个与政策相关的问题是:我们应该期望政策制定者如何处理AGI的发明，这意味着在AGI风险缓解和其他问题上投入多少努力?
为了调查这些问题，我们提出了这样的问题乔纳辛克以考察决策者在处理过去与AGI未来的发明类似的事件方面做得如何，并总结他的发现。我们预先承诺发布关于该主题的整个电子邮件交流(附带少量编辑)，就像我们的项目一样我们如何为未来数十年计划计划．下面的文章是对调查结果的总结我们的全额电子邮件交换（.pdf）迄今为止。
与我们调查我们如何规划未来数十年，在只调查了几个历史案例之后，我们决定公布我们的初步发现．这允许我们在继续之前获得关于项目价值的反馈，以及改进的建议。这也意味着对于我们的核心问题，我们还不能得出任何有信心的结论．
迄今为止，该项目最重要的成果是:
- 我们提出了6种看似重要的方式的初步清单，其中历史案例可能类似于AGI的未来发明，并评估了这些标准的几个历史案例。
- 气候变化风险似乎足以吸引AI风险，即研究气候变化缓解努力可能会对政策制定者如何应对AGI风险的影响有限：气候变化的预期损害相对于预期损失似乎非常小AI风险，特别是当一个人看待政策制定者的预期损害时。
- 经过一项肤浅的调查，2008年的金融危机似乎与AGI风险相当类似，因此我们应该有一些小小的理由担心，政策制定者不会明智地管理AGI的发明。
- 来自地磁风暴的关键基础设施的风险太小，无法与AGI的风险相同的参考课程。
- 根除天花只是与AGI的发明有点类似。
- 乔纳对政策制造商如何处理来自网络武装，氯氟烃和古巴导弹危机的风险，但在甚至可以给出之前需要更多的研究。
- 我们确定了可以在将来调查的额外历史案例。
下文详细说明。有关资源和更多内容，请参阅我们的完整电子邮件交换（.docx）．
6个历史案例可以类似于AGI的发明
在谈话中，Jonah和我确定了六个特征，即AGI的未来发明，如果在很大程度上被历史案例分享，似乎允许历史案件阐明揭示政策制定者如何处理AGI的发明：
- AGI可能在某种程度上不可预测的时期成为主要威胁。
- 当世界对AGI的经验非常有限时，它可能成为一种威胁。
- AGI的良好结果可能要求解决困难的全球协调问题。
- 为AGI威胁做好充分的准备可能需要提前进行大量细致的工作。
- 决策者有强烈的个人动机去解决AGI问题。
- 与AGI的糟糕结果将是一个全球灾难，而AGI的良好结果将具有全球人道主义利益。
有关这些标准及其使用的更多详细信息，请在我们的全电子邮件交换的第二封电子邮件中给出。
气候变化的风险
人们在20世纪70年代初开始将气候变化视为潜在的问题，但是对于人类活动导致变暖（由于碳排放）或冷却（由于烟雾颗粒而言）存在一些模糊性。首先IPCC.1990年发表的一份报告指出，温室气体是造成全球变暖的主要人为因素。到2001年，这一说法得到了强有力的科学共识。
虽然政策制定者对受气候变化的风险的反应可能似乎是政策制定者是否明智地处理到AGI，但有一些重要的侵权：
- 预计全球变暖的危害将不成比例地落在贫穷国家的弱势群体身上，而不是政策制定者身上。因此，与AGI的情况相比，决策者解决问题的个人动机要少得多。
- 中位数是全球变暖造成的人道主义损失似乎是对于最贫穷的人，每年约有20％的GDP。鉴于预期的经济发展和边际递减效用，这是一个多对人道主义的负面影响小于AGI风险(甚至忽略后代)。例如，经济学家Indur Goklany估计的“到2085年，只有13％的[死亡人数]来自饥饿，疟疾和极端天气事件（包括来自海平面上升的沿海洪水）应该是从[全球]变暖。”
- 因此，与AGI风险的潜在类似物来自气候变化尾巴风险．但是，似乎很少有有资格的科学家的观点与这样的预测相一致，即即使气温上升到概率分布的第95百分位(到2100年)，也会使地球上的一些地区不再适合居住。
- 根据这一点5日联合国政府间气候变化专门委员会，人类灭绝从气候变化的风险似乎很低：“一些门槛，所有这些都会认为危险在文献中没有支持，因为存在不可忽略的机会。例如，'失控温室效果 - 类似于金星 - 似乎几乎没有受人类活动诱导的机会。“
2008年金融危机
约拿对2008年的金融危机做了一个浅显的调查，但初步的调查结果很有趣，我们可以对其进行一些详细的描述。约拿关于2008年金融危机与德盛安联形势相关性的看法，是基于对德盛安联的一篇解读音乐停止后艾伦·布林德(Alan Blinder)，他在克林顿政府时期担任美联储副主席一年半。当然，在对决策者对金融危机的处理与他们明智处理AGI的可能性之间的相关性得出确切结论之前，还应该咨询许多其他来源。
Blinder的七个主要因素导致经济衰退（第27页）：
- 膨胀的资产价格，尤其是房屋(房地产泡沫)，但也包括某些证券(债券泡沫);
- 整个金融体系和经济中的过度杠杆(大量借贷);金宝博官方
- 松懈的金融监管，从法律未监管的方面和各个监管机构履行职责的不力方面来看;
- 银行在次级抵押贷款和其他抵押贷款中的不光彩行为;
- 建立在这些不良抵押贷款基础上的不受监管的证券和衍生品的疯狂被子;
- 统计评级机构的糟糕表现，帮助了这张疯狂的被子缝在一起;和
- 许多金融机构中的不经薪酬制度，以创造强大的激励措施。金宝博官方
考虑到这些因素，让我们来看看2008年金融危机和AGI未来的发明之间的相似性:
- 几乎是扭曲的，金融危机是意想不到的，尽管我们知道金融危机以某种规律而发生。
- 2008年的金融危机在实物中并非史前，只有在学位（以某种程度上）。
- 要避免2008年的金融危机，就需要解决一个棘手的国家协调问题，而不是一个全球协调问题。不过，这个类比似乎相当有力。约拿写道:“尽管2008年的金融危机似乎主要是针对美国的(并具有更广泛的影响)，但从某种意义上说，要阻止它，就需要解决一个困难的协调问题。危机的起因是分散的，责任落在许多不同阶层的行动者身上。”
- 约拿的分析不够深入，无法看出2008年的金融危机是否与AGI未来的发明类似，需要多少谨慎的工作才能提前避免风险。
- 与人工智能风险相比，金融危机对几乎所有相关参与者都不是生死攸关的问题。许多金融界人士没有避免金融危机的动力:事实上，一些关键人物获得了巨额奖金。但政府决策者出于声誉原因有避免金融危机的动机，这似乎是合理的，许多利益集团受到了金融危机的不利影响。
- 再一次，金融危机的规模并不是符合AI风险的标准，但它比其他风险更接近乔纳在这次初步调查中看了。
约拿得出结论认为，“对2008年的金融危机导致的差的决定的集团构成了[政策制定者]将成功地解决AI风险的观点，这是一个小小的挑战。”他的原因是：
- 与AI风险问题的幅度相比，金融危机的大小是非竞争（即使是小）（不计数后代）。
- 金融危机对很多人产生了负面影响，显然包括很大一部分掌权的人(这似乎比气候变化的情况更真实)。经济衰退对大多数企业和工人都是不利的。然而，这些参与者不能认识到这个问题，协调和预防它。
- 政策制定者没有意识到问题、协调和预防的原因，似乎与人们没有意识到人工智能风险是一个问题、协调和预防的原因有关。首先，几个关键参与者似乎表现出了明显的过度自信和对尾部风险的忽视(例如萨默斯等，忽视了Brooksley Born关于过度杠杆的警告)。如果这是真的，那么这表明，身居高位的人明显容易过度自信和忽视尾部风险。避免过度自信和给予尾部风险足够的重视可能是降低人工智能风险的关键。第二，旁观者效应和公地悲剧在金融危机中发挥了重要作用。有一些风险没有得到充分解决，因为这样做并不属于任何现有政府机构的职权范围。这可能符合一种“这不是我的工作——别人可以照顾它”的心态。如果人们认为人工智能的风险很大，那么他们可能会想，“如果没人来照顾它，那我来，因为否则我就会死。”但如果人们认为人工智能的风险很小，他们可能会想:“这可能对我来说并不是真的坏事，即使应该有人来处理它，这个人也不会是我。”
地磁暴的风险
大型地磁暴1859 Carrington活动很少，但可能对卫星和关键基础设施造成严重损害。看这个经合组织报告概述。
约拿的调查显示，地磁暴造成的预期损失范围很大，从每年3000万美元到每年300亿美元不等。但即使是这个更大的数字，在未来50年里，预计损失也将达到1.5万亿美元。与2008年金融危机(大约50年1次)的损失相比，这些损失是估计的仅为美国人约13万亿美元。
虽然严重，但地磁风暴的风险似乎足够小，无法对AGI的未来发明解除。
根除天花
天花在过去几千年杀死了超过5亿人之后，经过数十年的全球根除努力，在1979年被剥夺。虽然全球成功的标志是一个成功的全球协调，但似乎与政策制定者是否会明智地处理AGI的发明并没有特别相关。
以下是如何消除SmallPox的方法是我们不符合类似于AGI的未来发明的标准：
- 天花出现的时间并不是不可预知的;它出现在根除运动之前的几千年。
- 在天花被消灭之前，世界上还没有消灭一种疾病的经验，但一些国家已经消灭了天花。
- 根除天花需要解决一个困难的全球协调问题，但在某种程度上与AGI安全性的发明不同(见此清单上的其他点)。
- 从某种意义上说，为根除天花做准备需要提前付出努力，但在这场运动宣布之前，努力基本上已经付出了。
- 没有天花的国家有消灭天花的动机，这样他们就不必花钱给公民接种天花疫苗，这样病毒就不会(重新)传入他们的国家。例如，1968年，美国在常规天花疫苗接种上花费了大约1亿美元。
- Smallpox可以被认为是全球灾难：到1966年，每年约有200万人死于天花。
来自Cyberwarfare，Chorforocarbons和古巴导弹危机的风险浅的调查
乔纳对Cyberwarfare的风险的浅浅调查显示，专家对这些风险的性质和范围不同意。需要几十个小时的研究来开发这些风险的知情模型。金宝博娱乐
调查如何处理的政策制定者如何发现氯氟烃（CFCS）耗尽臭氧层，约拿总结了前100页臭氧危机:全球突发紧急情况的15年演变(查看我们的全文电子邮件交换摘要)。这个历史案例似乎值得进一步研究，而且可能是一个政策制定者以惊人的速度解决全球风险的案例，尽管其反应是否适当迅速还存在争议。
乔纳也做了一个浅浅的调查古巴导弹危机．很难评估这场危机升级为全球核战争的可能性有多大，但政策制定者似乎在古巴导弹危机之前和期间做出了许多错误的决定(详见我们的完整电子邮件交流)。约拿总结道:
即使古巴导弹危机导致全能核战争的可能性只有1％左右，风险仍然足够大，以至于所处理行动者的情况是对精英处理AI的创建的证据．（这种对比具有气候变化的情况，在那种精英中有强烈的个人激励措施来避免全息核战争。）
然而，这只是基于浅谈调查的猜测，并且在更彻底的历史事实之前，不应该太认真对待。
其他可以调查的历史案例
我们还确定了额外的历史案例，可以针对AGI的未来发明的潜在信息性模拟进行调查：
你喜欢这篇文章吗？你可以享受我们的其他分析帖子，包括：
