惊人的一年

可以肯定的说，过去的一年超出了很多人的预期。

十二个月前，尼克·博斯特罗姆的超明刚刚出版。关于比人类更聪明的人工智能系统的长期问题根本不是关于人工智能社会影响的主流讨论的一部分，而且全职金宝博官方从事人工智能校准挑战的人不到5人。

12个月后，我们生活在一个伊隆麝香，比尔盖茨， 和萨姆阿尔曼容易引用超明作为指南，我们应该就人工智能作为一个领域的未来提出一些问题。盖茨，研究人员金宝博娱乐不关注先进的AI系统是现在需要解释他们观点的人：金宝博官方

我在营地担心超级智力。首先，机器将为我们做很多工作，而不是超级智能。如果我们管理它，那应该是积极的。几十年来之后，虽然智慧足够强大，但令人担忧。我同意Elon Musk和其他一些人，不明白为什么有些人不担心。

据我所知，转折点发生在2015年1月，当最大Tegmark和新形成的生命研究所的未来组织一个“人工智能的未来“在圣胡安，波多黎各的会议将顶级AI学者汇集在一起​​，来自工业的顶级研究小组，以及研究长期AI风险的组织的代表。金宝博娱乐

波多黎各会议的气氛令人激动。我走下飞机，本想反驳超级智能机器会带来严重风险的观点。相反，我得到的是一个迅速形成的共识，即前面还有许多挑战，以及共同努力制定应对措施的愿望。

从那以后，步伐一直在加快。尼克·博斯特罗姆(Nick Bostrom)从埃隆·马斯克(Elon Musk)的捐款中获得了150万美元，开始了一个新的项目人工智能战略研究中心金宝博娱乐，这将集中在强大的AI所带来的地缘政治挑战。Miri收到了FLI赠款30万美元直接继续其技术和战略研究项目，并参与了其他几个合作资助。金宝博娱乐剑桥存在风险研究中心(Cambridge Centre for The Study of Existential Risk)已经发现了收到了大量的补助金使得它可以开始招聘。斯图尔特·罗素和我最近访问了华盛顿特区参加小组讨论在领先的公共政策智库。我们目前正在与NSF谈论延长其资助计划的可能性，以涵盖公开信中提出的一些担忧。

人工智能领域也开始注意到这一点。人工智能领域领先的科学协会AAAI主办了它的第一个关于安全和伦理的研讨会(我给了一个推介会）而且，这两个主要机器学习会议 - IJCAI和NIPS - 将是第一次致力于讨论AI安全研究的会议或研讨会。金宝博娱乐

多年来，我希望有些人将回顾波多黎各会议作为AI对齐领域的发源地。从外面，2015年可能看起来像是艾美研究人员在认真上开始认真的一年，考虑到我们之间的巨大障碍以及人为智能系统可以带来的益处。金宝博娱乐金宝博官方

然而，我们的长期支持者看到了我们在过去几个月所做的努力。正是由于您的长期支持，现有的风险缓解措施才达到了这个临界点。我们目前的势头有相当一部分似乎可以通过某种途径追溯到早期的交易所峰会或在博客以及一些早期研究和推广工作。金宝博娱乐感谢您在这些问题开始渗入主流之前就开始讨论这些问题，感谢您帮助我们走到现在的位置。

米里的进展

同时在Miri，这一年一直是忙碌的一年。

在波多黎各会议之后，我们已经建立了与许多不同行业团体的关系并继续进行谈话，包括DeepMind，替代，新形成的良好的人工智能团队．我们很高兴能与学术界进行更多的接触，通过一些正在进行中的合作论文，通过FLI资助计划的两项合作拨款，以及与各种学者就我们研究计划的内容进行对话。金宝博娱乐在过去的几周里，Stuart Russell和Bart Selman都成为了MIRI的官方研究顾问。金宝博娱乐

我们也一直在努力进行研究工作。金宝博娱乐3月，我们聘请了Patrick LaVictoire作为研究员。金宝博娱乐我们参加了很多会议，包括AAAI的安全和道德研讨会。我们一起组织了一场富有成效的会议，度过了一段美好的时光决策理论会议在剑桥大学，我很荣幸地向一些我尊敬和钦佩的学术决策理论家介绍了我们对决策理论的独特见解(受到我们对可运行程序的需求的启发)，我很高兴地说，我们的想法得到了很好的接受。

近几个月来，我们创造了许多新的资源和成果，包括:

• 一系列描述我们的概述论文技术议程为筹备波多黎各会议编写;
• 许多工具对研究这些开放性问题很有用，可以在我们的github存储库；
• 理论反光甲骨文机器(与加州大学伯克利分校的保罗·克里斯蒂安诺合作)，这是朝着更好的逻辑不确定性模型和更好的代理模型迈出的有希望的一步，这些代理模型可以推理比它们更强大(或更强大)的其他代理;和
• 一种技术,在HOL定理证明中实现反射(与剑桥大学的Ramana Kumar合作):代码．

我们也推出了智能代理基础论坛提供发布和讨论部分结果的位置，并在更广泛的社区上致力于这些问题。

但是，这并非全部。在波多黎各会议之后，我们预计它将创造的势头，我们开始加强增长。我们建立了一系列六位夏季研讨会，介绍了有兴趣的研究人员在AI对齐中打开问题，我们与中央中心合理地创建了一个金宝博娱乐Miri夏天研究员计划旨在帮助计算机科学家和数学家有效促进AI对准研究。金宝博娱乐我们现在已经进入了夏季研究员计划，我们已经运行了我们六位夏季研讨会中的四个。

我们这些项目的目标是缓解人才瓶颈，找到更多可以做miri式人工智能对齐研究的人，这已经得到了回报。金宝博娱乐两名新的研究人员金宝博娱乐已经签约在夏末开始在MIRI工作，我们很可能会从夏季研究员项目和夏季研讨会中获得一些新员工。

下一步

我们现在发现自己处于一个美妙的位置。上面列出的项目对于三个小型研究团队来说已经很多，并且我们希望随着我们进一步发展研究团队的推动。金宝博娱乐许多其他团体刚刚开始思考如何接近AI对齐的挑战，Miri已经有了一系列想法，我们一旦获得人员和资金，我们就会准备好执行。

现在的问题是:我们能以多快的速度增长?我们已经有资金签约额外的研究人员(或者可能是两名)，同时保留一个12个月的跑道，而且如果有足够的资金，我们金宝博娱乐的增长速度看起来会比这快得多。

明天，我们将正式开始我们的夏季筹款活动(尽管欢迎你现在就在我们的188betapp ）。Upcoming posts will describe in more detail what we could do with more funding, but for now I wanted to make it clear why we’re so excited about the state of AI alignment research, and why we think this is a critical moment in the history of the field of AI.

这希望我们的明年是去年的令人兴奋的一半！再次感谢您 - 明天才能为我们的公告进行调整。