MIRI的2015年冬季募捐!

比人类的AI更聪明，可能是50年或更长时间。我们仍然有许多原因认为今天开始对这些问题开始工作：

• 高能力天花板- 人类似乎无处可行的认知能力的物理限制，智力的适度优势也可能会产生对AI系统的决定性战略优势。金宝博官方
• “魔法师的学徒”场景- 更智能的AI系统可以提金宝博官方出越来越有创造性的方式来满足程序的目标。预期如何实现目标是越难，指定正确的目标是越难的。
• 收敛乐器目标-在默认情况下，极有能力的决策者可能有动机以敌对态度对待人类操作者。
• ai加速效果-随着人工智能系统在软件工程等技能上接近人类水平，人工智能的进展可能会加速。金宝博官方

我们认为MIRI有充分的条件在这些问题上取得进展，原因有四个:我们的初步技术结果是有希望的(见我们的出版物)，我们的方法在过去有良好的工作记录(见Miri的方法）我们已经对关于长期AI结果的辩论产生了重大影响（见评估我们的过去和潜在影响），我们在这些问题上专注于这些问题（见什么让miri分开？）。Miri目前是专门从事长期技术AI安全研究的唯一组织，我们与工业和学术界的独立性使我们能够有效地解决其他机构的研究努力的差距。金宝博娱乐

2015年一个令人惊讶的一年对于AI安全工程。1月份，生命学院的未来将领导组织汇集在一起​​学习长期AI风险和高级AI研究人员的学术界和工业的研究人员“金宝博娱乐AI的未来“在圣胡安，波多黎各的会议。出席了这次会议是一个广泛认可的打开信封，伴随着一个金宝博娱乐研究优先事项文件沉重地吸引Miri的工作。两位着名的AI科学家帮助组织活动，斯图尔特罗塞尔和巴特塞尔曼以来，成为Miri研究顾问（分别于6月和7月）。金宝博娱乐会议也导致了一个AI安全补助计划MIRI获得了一些最大的拨款。在addition to the FLI conference, we’ve spoken this year at AAAI-15, AGI-15, LORI 2015, EA Global, the美国物理学会，以及领导的美国科学和技术智库，ITIF.．我们也共同组织一个决策理论会议在剑桥大学，跑了一个十周研讨会系列在UC Berkeley。

三个新的全日制研究员都加入了我们的金宝博娱乐团队今年：帕特里克·拉瓦雷在3月，杰西卡泰勒于8月，安德鲁·克鲁斯九月。斯科特·瓦拉德坦将成为我们本月最新的研究员，因为作为研讨会与会者和研究助理进行了金宝博娱乐主要贡献。

与此同时，我们的两位新实习生Kaya Stec金宝博娱乐hly和Rafael Cosman正在整理旧的研究成果，并将材料整合和打磨成新的论文;我们的三位新研究员Vanessa Koso金宝博娱乐y, Abram Demski和Tsvi Benson-Tilsen，已经在我们的研究论坛上产生了一系列有希望的结果。另一个实习生，杰克·加拉格尔，对我们的类型理论项目在这个夏天。

为了适应我们的成长团队，我们最近聘请了一位新的办公室经理，安德鲁拉普斯基 - 巴克，并将本月迁入更大的办公空间。总的来说，我对新的学术合作，外展努力和增长感到非常满意。

7月，我们修订了我们的主要技术议程文件2016年出版。我们的其他新出版物和成果可以根据它们在研究议程中的位置进行分类:我们一直在探索解决问题的新方法金宝博娱乐归化诱导和逻辑不确定性，早期在各种场地发表，包括堕落者等人。的“反光的神谕“ （呈现在伸缩形式在2015年LORI）和“Solomonoff诱导和AIXI的反光变种“(在AGI-15上展示)和Garrabrant等人的”渐近逻辑不确定性和Benford测试“（在Arxiv上提供）。我们还发布了概览论文“正式化现实世界模型的两个问题“ 和 ”在逻辑不确定性下推理的问题。“

在决策理论， Patrick LaVictoire和其他人利用基于证明的决策理论框架(例子）。与此同时，该团队一直在制定更好地了解不同方法对决策理论的优势和局限，这是由Eliezer Yudkowsky，Benya Fallenstein的努力发出的努力，最终在明年纸上出现的一些见解。Andrew Critch证明了一些关于有限版本的挑剔的决策者的有希望的结果，这也将出现在即将到来的纸上。此外，我们提出了一个缩短版本我们在AGI-15上的概述论文。

在视频反思，Benya Fallenstein和Raman金宝博娱乐a Kumar合作“对HOL的证明反射(2015年在ITP上展示)，并一直在研究FLI-fundedHOL定理证明书中的反思推理的实施。另外，反思性的甲骨文框架已经帮助我们更好地了解了什么样的反射，也是不可能的，产生一些好的技术成果还有一些看起来很有前途的见解。我们还发表了综述论文"视频反思。“

杰西卡·泰勒，贝尼亚瀑布斯坦和Eliezer Yudkowsky专注于容忍误差全年开车。我们发布了Taylor的“定量司人"(参加AAAI-16研讨会)并提交了论文"可订正“在Aaai-15研讨会上。

在价值规范，我们发布了Aaai-15研讨会文件“安全自主ai的概念学习“和概述文件”价值学习问题。“支持来自FLI Grant.，Jessica Taylor正在努力在这一领域更好地正式形成亚各布，最近开始写作对这个主题的思考论研究论坛金宝博娱乐．

最后，在预测和战略，我们发表了“正式化收敛工具目标“（接受AAAI-16研讨会）和两个历史案例研究：”亚利摩尔会议“ 和 ”leószilárd和核武器的危险许多其他战略分析已经发布到最近修订ai影响现场，凯特贾格雷德一直在发布关于技术发展模式的研究。金宝博娱乐

我们在接下来的十二个月内投入的支出，不包括独立的专用资金ai影响项目，如下崩溃：

我们最大的成本（700,000美元）是现有的研究人员和合同研究人员的工资和福利，包括研究员员工。金宝博娱乐我们目前的优先事项是进一步扩大团队。我们预计2016年新研究人员的工资和福利将额外支付15万美元，但该数字可以大幅上涨或下降，根据新的研究员开始工作：金宝博娱乐

• Mihály Bárász，最初是谁开始开始在2015年11月，由于意外的个人情况，推迟了他的入职日期。他计划在2016年加入球队。
• 我们正在为我们的型理论型理论项目，旨在开发简单的反思推理模型的程序模式。对这个主题的兴趣最近一直在增加，这是令人兴奋的;但我们工作所需的基本工具仍然缺失。如果您有对依赖类型的编程语言和Miri的工作感兴趣的程序员或数学家朋友，您可以发送我们的申请表．
• 我们正在考虑研究团队的其他几种可能的补充。金宝博娱乐

我们其余的大部分预算都进入了固定成本，即在扩展研究团队时，不需要长得多。金宝博娱乐这包括475,000美元的管理员工资和福利，250,000美元以获得业务成本。我们做业务的主要成本是租用办公空间（略高于100,000美元）。

请注意，这些类别之间的边界有时是模糊的。例如，我的薪水包括在管理人员类别中，尽管我花了一些时间在技术研究中（并希望在2016年增加该金额）。金宝博娱乐

我们剩余的预算用于组织或赞助研究活动，如研究员项目，金宝博娱乐米西克赛事或研讨会(25万美元)。有些活动(例如，参加会议)旨在与更大的学术界分享我们的工作。其他的，比如研究者撤退，则专注于金宝博娱乐解决我们研究议程中的开放性问题。在2015年尝试了不同类型的研究人员静修后，我们开始确定一个有效的模式，2016年我们将金宝博娱乐举办一些静修。