Miri的2015年冬季筹款人！

比人类的AI更聪明，可能是50年或更长时间。我们仍然有许多原因认为今天开始对这些问题开始工作：

• 高能力的天花板人类的认知能力似乎远未达到物理极限，甚至在智能方面的适度优势也可能为人工智能系统带来决定性的战略优势。金宝博官方
• “巫师的学徒”情景-更聪明的人工智能系统可以金宝博官方想出越来越有创意的方法来满足编程目标。预测一个目标如何实现越困难，就越难确定正确的目标。
• 收敛的工具性目标- 默认情况下，高度有能力的决策者可能会产生对待人类运营商的激励措施。
• ai加速效果- 随着AI系统处理软件工程等技能的人类水平熟练程度，AI的进展可能会加速。金宝博官方

我们认为Miri定位在这些问题上取得进展，因为有四个原因：我们的初步技术结果一直很有希望（见我们的出版物）我们的方法在过去有一个很好的工作记录（见美里的方法）我们已经对关于长期AI结果的辩论产生了重大影响（见评估我们的过去和潜在影响)，我们只关注这些问题(见是什么让MIRI与众不同?）。Miri目前是专门从事长期技术AI安全研究的唯一组织，我们与工业和学术界的独立性使我们能够有效地解决其他机构的研究努力的差距。金宝博娱乐

2015年已经一个令人惊讶的一年用于人工智能安全工程。今年1月，生命未来研究所召集了研究长期人工智能风险的领先组织以及学术界和产业界的顶级人工智能研究人员，进行了一项“金宝博娱乐人工智能的未来“在圣胡安，波多黎各的会议。出席了这次会议是一个广泛认可的公开信，伴随着一个金宝博娱乐研究优先级文档沉重地吸引Miri的工作。两位着名的AI科学家帮助组织活动，斯图尔特罗塞尔和巴特塞尔曼以来，成为Miri研究顾问（分别于6月和7月）。金宝博娱乐会议也导致了一个人工智能安全资助计划，Miri接受了一些最大的拨款。除了FLI会议上，我们今年在Aaai-15，AGI-15，LORI 2015，EA Global of Smoking美国物理社会，以及美国领先的科技智库，ITIF．我们也协办决策理论会议在剑桥大学进行了为期10周的研究研讨会系列在UC Berkeley。

三名新的全职研究员加入了我们的金宝博娱乐团队今年：帕特里克·拉瓦雷在3月，杰西卡泰勒于8月，安德鲁·克鲁斯九月。斯科特·瓦拉德坦将成为我们本月最新的研究员，因为作为研讨会与会者和研究助理进行了金宝博娱乐主要贡献。

与此同时，我们的两个新的研究实习生，Kaya 金宝博娱乐Steply和Rafael Cosman一直经历旧的结果并将材料巩固和抛光成新纸张;我们的三个新的研究员工，Vanessa K金宝博娱乐osoy，Abram Demski和Tsvi Benson-Tilsen，一系列有前途的结果在我们的研究论坛上。另一个实习生，杰克加拉格，为我们的项目类型理论夏天时。

为了适应我们的成长团队，我们最近聘请了一位新的办公室经理，安德鲁拉普斯基 - 巴克，并将本月迁入更大的办公空间。总的来说，我对新的学术合作，外展努力和增长感到非常满意。

7月，我们修改了我们的主要技术议程纸2016年出版物。我们的其他新出版物和结果可以通过他们在研究议程中的位置进行分类：我们一直在探索对问题的新方法金宝博娱乐归化感应和逻辑的不确定性，早期的研究结果在不同的场所发表，包括Fallenstein等人的。反光奥克斯”(介绍在伸缩形式在LORI 2015)和”Solomonoff诱导和AIXI的反射变异“（在Agi-15呈现），而Garrabrant等人的”渐近逻辑不确定性与本福德检验“（在Arxiv上提供）。我们还发布了概览论文“形式化现实世界的两个问题模型”和“逻辑不确定性下推理问题。“

在决策理论，帕特里克·瓦特奥尔特和其他人采用了基于校验的决策理论框架制定了与谈判和贸易收益划分有关的新结果（例子）。与此同时，该团队一直在制定更好地了解不同方法对决策理论的优势和局限，这是由Eliezer Yudkowsky，Benya Fallenstein的努力发出的努力，最终在明年纸上出现的一些见解。Andrew Critch证明了一些关于有限版本的挑剔的决策者的有希望的结果，这也将出现在即将到来的纸上。此外，我们提出了一个缩短版本我们在AGI-15的概述文件。

在视频反思， Benya Fallenstein和研究助理金宝博娱乐Ramana Kumar合作了“对HOL的证明反射“（在ITP 2015上呈现）并一直在努力FLI-Finded.反思性推理在HOL定理证明中的实现。另外，反射式oracle框架帮助我们更好地理解了什么类型的反射是可能的，什么类型的反射是不可能的，从而产生了一些结果很好的技术结果还有一些似乎有前途的见解。我们还发布了概览文件“视频反思。“

杰西卡·泰勒，本雅·法伦斯坦，埃利泽·尤多科夫斯基容忍误差全年开车。我们发布了Taylor的“Quantilizers“（在Aaai-16接受的研讨会）并提出了论文”易燃“在Aaai-15研讨会上。

在价值规范，我们发布了Aaai-15研讨会文件“安全自主AI的概念学习和概述论文价值学习问题。“支持来自FLI格兰特， Jessica Taylor正在这一领域更好地形式化子问题，并且最近已经开始写她关于这个主题的想法关于研究论坛金宝博娱乐．

最后,在预测和策略，我们发表了"形式化聚合的工具目标“（接受AAAI-16研讨会）和两个历史案例研究：”亚利摩尔会议”和“leószilárd和核武器的危险。“许多其他战略分析已发布到最近改造的人工智能的影响该网站的Katja Grace一直在发表有关技术发展模式的研究。金宝博娱乐

我们预计未来十二个月的开支，不包括为独立党预留的专款人工智能的影响项目，细分如下:

我们最大的成本（700,000美元）是现有的研究人员和合同研究人员的工资和福利，包括研究员员工。金宝博娱乐我们目前的优先事项是进一步扩大团队。我们预计2016年新研究人员的工资和福利将额外支付15万美元，但该数字可以大幅上涨或下降，根据新的研究员开始工作：金宝博娱乐

• 最初的MihályBárász计划开始2015年11月，由于意外的个人情况，已推迟了他的开始日期。他计划在2016年加入该团队。
• 我们正在为我们的专家招募一个专家类型理论中的类型理论项目，其目的是开发反射推理机的简单程序模型。对这个话题的兴趣最近一直在增加，这是令人兴奋的;但我们工作所需的基本工具仍然缺失。如果您有对依赖类型的编程语言和Miri的工作感兴趣的程序员或数学家朋友，您可以发送我们的申请表．
• 我们正在考虑研究团队的其他几种可能的补充。金宝博娱乐

我们其余的大部分预算都进入了固定成本，即在扩展研究团队时，不需要长得多。金宝博娱乐这包括475,000美元的管理员工资和福利，250,000美元以获得业务成本。我们做业务的主要成本是租用办公空间（略高于100,000美元）。

请注意，这些类别之间的边界有时是模糊的。例如，我的薪水包括在管理人员类别中，尽管我花了一些时间在技术研究中（并希望在2016年增加该金额）。金宝博娱乐

我们剩余的预算进入组织或赞助研究活动，例如研究员计划，金宝博娱乐MIRIx事件或工作坊（250,000美元）。一些活动（例如，前往会议）旨在与较大的学术界共享我们的工作。其他人（例如研究人员撤退）专注于金宝博娱乐解决我们的研究议程中的公开问题。在2015年尝试不同类型的研究人员撤退后，我们开始定居适用于运行良好的模型，我们将在20金宝博娱乐16年运行一些撤退。