目标1和2:培育MIRI

||Miri战略

势头正在接受在AI安全工程领域。如果它将留在AI研究中这个新的范例的最前沿,Miri需要快速发展。金宝博娱乐为此,我们正在揭开我们的2015年夏季赛季赛车!!

我们没有指定一个单一的资助目标,而是决定在不同的资助层次上列出我们可以追求的活动,让你们,我们的捐助者,来决定我们的增长速度。在这篇文章中,我将描述如果我们实现了前两个筹资目标:25万美元(“持续增长”)和50万美元(“加速增长”),会发生什么。

持续增长

在过去的12个月里,MIRI的研究团队忙得不可开交——举办研讨会、参加会金宝博娱乐议、参观行业人工智能团队、与外部研究人员合作、招聘。我们在两个AAAI会议和一个AGI会议上发表了论文,参加了FLI的波多黎各会议,写了四篇论文,并在今年晚些时候被接受发表,产生了大约10篇技术报告,并发布了一些新的初步结果智能代理基金会论坛

这就是我们三个人的研究团队所能做到的。金宝博娱乐MIRI的研究人员能通过一个两到三倍金宝博娱乐大的团队完成什么?

DSC_0010(2)
MIRI研金宝博娱乐究员Eliezer Yudkowsky和Benja Fallenstein讨论
反思推理在我们的7月之一研讨会

感谢几个更改的游戏捐赠和资助from the last few years, we have the funds to hire several new researchers: Jessica Taylor will be joining our full-time research team on August 1, and we’ll be taking on another new research fellow on September 1. That will bring our research team up to five, and leave us with about one year of runway to continue all of our current activities.

为了进一步发展——尤其是如果我们以我们希望的速度发展——我们需要更多的资金。

我们今年夏天的活动旨在进一步扩大我们的研究团队。金宝博娱乐的Miri夏天研究员计划,设计与应用合理性中心的合作设计,以教学数学家和AI研究人员一些AI对准研究技能,目前正在进行中;金宝博娱乐在三周内,我们将运行六个夏季讲习班的五分之一,旨在将我们的研究议程带到更广泛的受众。金宝博娱乐

达到我们的第一个筹资目标,25万美元,将允许我们从我们的夏季研讨会和研究员项目中雇用最优秀的候选人。这笔钱可以让我们在不缩短跑道的情况下再雇佣1-3名研究人员,金宝博娱乐使研究团队的总规模达到6-8人金宝博娱乐

加速经济增长

然而,成长为一个8人的团队,仍然没有接近我们的速度极限可以如果我们真的踩下油门,今年就会增长。这是人工智能校准领域的关键时刻,我们有一个难得的机会来帮助制定未来几十年人工智能安全工作的议程。我们的捐赠者都很有野心,所以有必要问一下:

如果MIRI有了它,我们能增长多快最大的筹款活动

如果我们能在8月底之前达到25万美元的筹资目标,我们就可以开始思考了大的。我们的第二次资金目标为500,000美元,允许我们更积极地招募,并扩展到大致扩展十个人核心研究团队金宝博娱乐。这与我们认为我们可以在近期成长的那么大我们招聘努力的重大增加

十个研究金宝博娱乐人员将大力提高我们将新结果策划到同行评审的出版物,参加会议和运行研讨会中的能力。但是,最重要的是,它会让我们更加努力投入基础研究。金宝博娱乐我们已经确定了几十个开放问题,这些问题与对齐与人类AI的任务相关的任务;与一个更大的团队,我们的希望是开始解决这些问题迅速地

但在短期内尽可能快地生长核心研究团队并非所金宝博娱乐有我们都可以做的事情:事实上,有许多其他项目在侧链等待。

由于Miri的研金宝博娱乐究人员一直在考虑持续的AI对准问题,我们有很多项目我们打算一旦我们拥有必要的时间和资金就会工作。在500,000美元的级别,我们可以在不转移我们的核心技术议程中的一些最高优先项目的几个最高优先级项目中执行。

项目:理论型理论。现代定理普及的遗失有很多工具是必要的,以便研究某些类型的自我指称推理。1鉴于资金,我们将聘请一个或两种类型的理论家全职开发相关工具。

我们的类型理论项目将使我们能够在一个具体的设置中研究关于类似程序的程序推理——代码行,而不是白板上的方程式。开发的工具对类型理论社区也很有用,因为它们有许多短期应用。(例如,在构建模块化和高度安全的操作系统时,验证器组件可以验证是否可以将验证器替换为更强大的验证器。)金宝博官方我们将受益于类型理论专家的输入,我们将受益于这些工具,我们也将受益于与更大的类型理论社区的增加的接触,当谈到编写高度可靠的计算机程序时,这是一个重要的社区。

项目:访问学者计划。如果有足够的资金,我们可以迅速实施的另一个项目是访问学者计划。增加我们与学术界的接触的一个肯定的方法是,让感兴趣的教授在夏天来拜访我们,而我们支付他们的夏季薪水,并与他们一起从事我们感兴趣的项目。这些访问,加上一些来访的研究生或博士后每年夏天,可能很长的一段路要走学术社区获得更多的参与开放的问题,我们认为是最紧急的,同时也给我们机会输入的一些最有思想的现代人工智能领域。

这样的项目可以扩展为MIRI直接支持研究生和/或教授,他们愿意花一些时间进行人工智能对齐研究。金宝博娱乐如果MIRI能够成立新的研究小组,专门研究人工智能对齐挑战的方法,而不是我们在技术议程中所描述的方法,那么这个项目也可能被证明是有用的。金宝博娱乐这些计划的延长将需要更多的时间和资金,但在50万美元的水平上,我们可以开始播种。

Miri的未来形状

这只是简要介绍我们可以使用适当资金的新活动。关于我们现有项目的状态以及我们准备在鉴于机会上执行的项目类型,这两种更详细的博览会即将到来。保持关注未来的帖子!

如果这些计划已经让你感到兴奋,那么你可以通过以下方法来实现它们为我们的夏季筹款人提供贡献。在AI对齐领域有很多要做,如果我们尽早进行真实进展,Miri和宽更广泛的AI领域都会更好。未来的帖子不仅会讨论我们想要分支的工作,而且还有原因,为什么我们认为这是该领域历史上的特别关键时期,为什么我们期望赠送现在比等待更有价值稍后再给。

直到那时,再次感谢您的所有支持 - 我们充满激情的捐助者基础就是我们在过去几年中获得了我们的增长,我们觉得有权实现这一潜力我们的支持者所看到的潜力在Miri。


  1. 粗略地说,是为了在现代中研究自我参照非独立类型编程语言,我们需要能够编写可以操纵和用相同语言编写的引号程序的程序编写程序。这将是一个成熟的初始设置,在其上学习旨在高度信心的原因。但是,对于我们的知识,没有人写(例如)的类型agda.Agda的计划 - 尽管有一些有希望的第一步。