目标1和2:培育MIRI

||米里策略

势头正在增强在人工智能安全工程领域。MIRI如果要保持在人工智能研究新范式的前沿,就需要快速增长。金宝博娱乐为此,我们开始了2015年夏季募款活动

我们没有指定一个单一的资助目标,而是决定在不同的资助层次上列出我们可以追求的活动,让你们,我们的捐助者,来决定我们的增长速度。在这篇文章中,我将描述如果我们实现了前两个筹资目标:25万美元(“持续增长”)和50万美元(“加速增长”),会发生什么。

持续增长

在过去的12个月里,MIRI的研究团队忙得不可开交——举办研讨会、参加会金宝博娱乐议、参观行业人工智能团队、与外部研究人员合作、招聘。我们在两个AAAI会议和一个AGI会议上发表了论文,参加了FLI的波多黎各会议,写了四篇论文,并在今年晚些时候被接受发表,产生了大约10篇技术报告,并发布了一些新的初步结果智能代理基金会论坛

这就是我们三个人的研究团队所能做到的。金宝博娱乐MIRI的研究人员能通过一个两到三倍金宝博娱乐大的团队完成什么?

DSC_0010 (2)
MIRI研金宝博娱乐究员Eliezer Yudkowsky和Benja Fallenstein讨论
反光的推理在七月的某一天研讨会

多亏了一些改变游戏规则的举措捐赠和资助从过去几年开始,我们有资金聘请新的研究人员:杰西卡·泰勒将于8月1日加入我们的全职研究团队,我们将于9月1日聘用另一名新的研究金宝博娱乐人员。这将使我们的研究团队增加到5人,给我们留金宝博娱乐下大约一年的跑道来继续我们目前的所有活动。

为了进一步发展——尤其是如果我们以我们希望的速度发展——我们需要更多的资金。

我们今年夏天的活动旨在进一步扩大我们的研究团队。金宝博娱乐的MIRI暑期奖学金学生计划,与应用理性中心合作设计,旨在教授数学家和人工智能研究人员一些人工智能对齐研究技能,目前正在进行中;金宝博娱乐三周后,我们将举办六场夏季研讨会中的第五场旨在让更多人了解我们的研究议程。金宝博娱乐

达到我们的第一个筹资目标,25万美元,将允许我们从我们的夏季研讨会和研究员项目中雇用最优秀的候选人。这笔钱可以让我们在不缩短跑道的情况下再雇佣1-3名研究人员,金宝博娱乐使研究团队的总规模达到6-8人金宝博娱乐

加速经济增长

然而,成长为一个8人的团队,仍然没有接近我们的速度极限可以如果我们真的踩下油门,今年就会增长。这是人工智能校准领域的关键时刻,我们有一个难得的机会来帮助制定未来几十年人工智能安全工作的议程。我们的捐赠者都很有野心,所以有必要问一下:

如果MIRI有了它,我们能增长多快最大的筹款活动

如果我们能在8月底之前达到25万美元的筹资目标,我们就可以开始思考了.我们的第二个筹资目标是50万美元,这将使我们能够更积极地招募人员,并将规模扩大到大约10人核心研究团队金宝博娱乐.这是我们认为在短期内不需要的最大增长幅度我们的招聘工作大幅增加

10名研金宝博娱乐究人员将大大提高我们的能力,将我们的新成果打磨成同行评议的出版物,参加会议,并举办研讨会。但最重要的是,它将让我们有更多的时间投入基础研究。金宝博娱乐我们已经发现了许多与将比人类更聪明的AI与正确的价值观结合起来的问题;通过一个更大的团队,我们希望开始解决这些问题很快

但在短期内以可持续的速度发展核心研究团队并金宝博娱乐不是我们能做的全部:事实上,还有许多其他项目在观望。

由于MIRI的研金宝博娱乐究人员已经考虑人工智能对齐问题很长时间了,我们有相当多的项目,我们打算在我们有必要的时间和资金后进行工作。在50万美元的水平上,我们可以开始执行几个最高优先的项目,而不转移对我们核心技术议程的注意力。

项目:类型理论中的类型理论。在现代的定理证明中有许多工具缺失,而这些工具对于研究某些类型的自我参照推理是必要的。1考虑到资金,我们将聘请一到两名类型理论家全职开发相关工具。

我们的类型理论项目将使我们能够在一个具体的设置中研究关于类似程序的程序推理——代码行,而不是白板上的方程式。开发的工具对类型理论社区也很有用,因为它们有许多短期应用。(例如,在构建模块化和高度安全的操作系统时,验证器组件可以验证是否可以将验证器替换为更强大的验证器。)金宝博官方我们将受益于类型理论专家的输入,我们将受益于这些工具,我们也将受益于与更大的类型理论社区的增加的接触,当谈到编写高度可靠的计算机程序时,这是一个重要的社区。

项目:访问学者项目。如果有足够的资金,我们可以迅速实施的另一个项目是访问学者计划。增加我们与学术界的接触的一个肯定的方法是,让感兴趣的教授在夏天来拜访我们,而我们支付他们的夏季薪水,并与他们一起从事我们感兴趣的项目。这些访问,加上一些来访的研究生或博士后每年夏天,可能很长的一段路要走学术社区获得更多的参与开放的问题,我们认为是最紧急的,同时也给我们机会输入的一些最有思想的现代人工智能领域。

这样的项目可以扩展为MIRI直接支持研究生和/或教授,他们愿意花一些时间进行人工智能对齐研究。金宝博娱乐如果MIRI能够成立新的研究小组,专门研究人工智能对齐挑战的方法,而不是我们在技术议程中所描述的方法,那么这个项目也可能被证明是有用的。金宝博娱乐这些计划的延长将需要更多的时间和资金,但在50万美元的水平上,我们可以开始播种。

美里未来的形状

这只是我们在适当的资金支持下可以开展的新活动的一个简要介绍。关于我们现有项目的状态以及我们准备在有机会的情况下执行的项目类型,将会有更详细的阐述。请继续关注未来的帖子!

如果这些计划已经让你感到兴奋,那么你可以通过以下方法来实现它们为我们的夏季募捐捐款.在人工智能对齐领域还有很多工作要做,如果我们能尽早取得真正的进展,MIRI和更广泛的人工智能领域都将变得更好。未来的文章将不仅讨论我们想要拓展的工作,还将讨论为什么我们认为这是该领域历史上一个特别关键的时期,以及为什么我们期望现在给予比以后给予更有价值。

在此之前,再次感谢你们的支持-我们热情的捐助者基础使我们能够像过去几年一样成长,我们感到很荣幸有这个机会实现我们的支持者在MIRI看到的潜力。


  1. 粗略地说,是为了在现代中研究自我参照非独立类型编程语言,我们需要能够写程序,可以操作和类型检查用相同语言写的引用程序。这将是一个成熟的初始设置,在其中学习项目,以高度的信心,对自己的推理。然而,就我们所知,还没有人写出Agda尽管已经迈出了一些有希望的第一步。