公开慈善项目的拨款公告

||新闻

今天有一个重要的公告:开放慈善项目已经在未来一年向MIRI提供了50万美元,用于研究我们的代理基础机器学习金宝博娱乐研究议程,明年很有可能更新。这是MIRI迄今为止最大的一笔拨款第二大单一的贡献。

就在30万美元之后捐赠布雷克·博格森(Blake Borgeson)的报告,这种支持将帮助我们继续在我们的报告中概述的增长轨迹上夏天冬天去年的筹款活动,使研究团队的人数又增加了一倍。金宝博娱乐这些增长计划的前提是其他捐助方继续提供与我们去年成功筹资一致的支持;我们将在2016年的筹款活动中更详细地讨论我们剩余的资金缺口,这个活动将在本月晚些时候开始。


开放慈善项目是由慈善基金会Good Ventures和慈善评估机构GiveWell的工作人员共同发起的。Open Phil最近将其作为研究人员寻找机会的优先事项金宝博娱乐来自先进人工智能的潜在风险,我们认为他们在这一领域的早期工作很有希望斯图亚特·罗素罗宾·汉森,生命未来学院,并声明有意资助与“人工智能安全的具体问题Christopher Olah(谷歌Brain)、Dario Amodei (OpenAI)、Paul Christiano (UC Berkeley)和Jacob Steinhardt (Stanford),以及John Schulman (OpenAI)和Dan Mané(谷歌Brain)最近共同撰写了一篇论文。

Open Phil的资助并不是完全的认可,他们指出了我们工作的一些保留意见在大量的书面记录中详述拨款决定的想法。另外,Open Phil执行董事霍尔顿·卡诺夫斯基已经写一些个人的想法他对MIRI和有效的利他主义社区的观点在近年来是如何演变的。

Open Phil的决定部分是因为他们的技术顾问对我们最近在逻辑不确定性和Vingean反思方面的工作的评估,以及7名匿名的计算机科学教授和1名匿名的研究生的评论。这些评论,大部分都被收集起来了在这里,一般都是负面的:评论者认为归纳的一致性”和“具有无限延迟的在线学习的渐近收敛并不是重要的研究结果,这些研究方向不太可能产生成果,Open Phil的顾问们对这项工作金宝博娱乐与将人工智能系统与人类价值接轨的相关性持怀疑或不确定态度。金宝博官方

值得一提的是,“归纳一致性”和“渐近收敛”的结果直接导致了一个更重要的未发表的结果,逻辑归纳,我们最近与Open Phil和有效利他主义社区的成员讨论过。结果已经写好了,我们计划很快就能出个预印本。鉴于这一进展,我们比审稿人更有信心认为Garrabrant等人早期的论文代表了朝着正确方向迈出的重要一步。如果这对审稿人来说并不明显,那么这可能表明我们的论述不够充分,或者我们的结果的重要性本身就很难从论文中评估出来。

总的来说,我认为审稿人的批评是合理的——要么我同意他们的观点,要么我认为需要更长的对话来解决分歧。评论的详细程度和复杂程度也很有价值。

这些评论的内容与我之前的预测基本一致,尽管我的预测缺乏信心。我写得很快反应我的预测和Eliezer Yudkowsky的一些观察被收录在附录中。这很可能是关于我们研究重点和进展的更长的讨论的开始,因为我们还没有详细地写出我们对许多问题的观点。金宝博娱乐

我们非常感谢Open Phil的支持,也感谢他们和他们的顾问花费(大量)时间来评估我们的工作。这项拨款是在与GiveWell和Open Phil的研究人员就我们多年来的组织策略进行了一系列富有挑战性和深度的对话之后获得的,这些对话帮助我金宝博娱乐们完善了我们的观点和论点。

过去MIRI和GiveWell / Open Phil员工之间的公开交流包括:

参见Open Phil的帖子的人工智能人工智能风险是一个慈善机会,以及较早的人工智能风险原因报告