这篇文章的评论MIRI在2017年的活动,包括研究,招聘,博览会金宝博娱乐和筹款活动。
2017年是Miri的一个重要的过渡年,因为我们采用了新的研究项目,这些项目在实践方案工作和实验中具有更大的依赖。金宝博娱乐我们在2018年继续进行这些项目,他们在我们的情况下更详细地描述2018年更新.这意味着一个重大关注铺设基础的基础速度比过去的增长更快,包括建立基础设施,并改变我们如何招募到更多有工程背景的人。
与此同时,2017年是我们迄今为止筹款的最佳年度,因为我们看到两者都有显着增加开放慈善项目来自加密货币社区,这对我们的慷慨慷慨地回应了Crypto Boom。这让我们处于一个优越的地位,以便在我们的行为方面继续前进,并将更多的是我们对技术研究和增长的努力。金宝博娱乐
今年的考评比往年要晚得多,对此我深表歉意。其中一个主要原因是,我觉得如果不能列出我们2017年的活动目录,信息量就会少得多2018年更新,这解释了我们新工作背后的许多推理以及我们正在做的事情如何彼此相关。对于给您带来的任何不便,我深表歉意,这可能导致人们试图跟踪Miri所取代的。我计划在2019年第一季度提前举报我们的下一次审查。
2017年金宝博娱乐研究进展
如我们所述2017年组织更新并在我们最近的节目中详细阐述2018年更新在美国,2017年我们的研究工作发生了重大转变。金宝博娱乐尽管一个扩展版的代理基金会议程继续是MIRI的主要焦点,我们现在也在处理一套新的对准研究方向金宝博娱乐这更有利于编码实验。
自2017年初以来,我们越来越多地采用政策没有披露我们的许多研究结果,这意金宝博娱乐味着我们的新产出更少是公开的。然而,我们在2017年(和2018年)的一些工作仍在继续公开,包括关于金宝博娱乐AI对准论坛.
2017年,Scott Garrabrant将我们的代理基础议程重新推荐为四个新类别:决策理论那嵌入式世界模型那强大的代表团, 和子系统金宝博官方对齐.Abram Demski和Scott现已共同编写了这四个问题的介绍,被认为是更大问题的不同方面的“嵌入式代理.”
比较我们的预测(来自2017年3月1)对我们在2017年的进展进行了回顾,并采用1-5的等级,1表示“有限”进展,3表示“有限”进展,5表示“相当”进展,我们对我们面向公众的研究进展进行了如下回顾:金宝博娱乐
决策理论
- 2015年进展:3。(预计:3)
- 2016年进展:3。(预测:3)
- 2017年进展情况:3..(预测:3)
我们最重要的2017年结果包括摆姿势和解决版本的这匡威Lawvere问题;2发展合作魔术师;并提高我们对因果决策理论如何涉及证据决策理论的理解(例如,吸烟钢铁管理员).
我们还发布了一些关于决策理论的介绍性资源,包括“功能决策理论“ 和决定是为了使不良成果不一致.
嵌入式世界型号
- 2015年进展情况:5。(预计:3)
- 2016进展情况:5。(预计:3)
- 2017年进展情况:2.(预测:2。)
2017年在这一领域的关键结果包括逻辑电感这可以看到对方互相主宰;而且,作为推论,逻辑电感器限制彼此占主导地位。
除此之外,Scott Garrabrant报道高级布鲁瓦尔在概率真理谓词、反思性预言和逻辑诱导方面显著地改变了他的思维。此外,Vanessa Kosoy的“使用不完全模型进行预测“建立在我们以前关于逻辑电感器的工作的基础上,为复杂环境建模创建了一个干净的(纯学习理论的)形式主义,显示出在“逻辑归纳”中发展的方法对于与逻辑无关的经典序列预测应用是有用的。
强大的代表团
- 2015年进展:3。(预计:3)
- 2016年进展:4。(预测:3)
- 2017年进展情况:4..(预测:1)
我们对平铺问题取得了重大进展,并澄清了我们对Goodhart的法律的思考(见“古德哈特分类法“)。其他值得注意的工作包括Vanessa Kosoy's委托逆强化学习框架,Abram Demski的关节“稳定的指针值“作为价值加载的中央司法,而Ryan Carey的”Cirl框架中的不知形性.”
子系统金宝博官方对齐(新类别)
在Eliezer Yudkowsky等人的讨论之后,20金宝博娱乐17年MIRI的一个更重要的研究转变是面向子系统对齐问题金宝博官方优化守护进程,保罗·基督教普遍先前实际上是什么样的?和杰西卡泰勒的使感应良性的一些问题.关于这个问题的高级别思考可以在斯科特瓦尔巴德和亚伯兰德斯基最近找到帐面价值.
2017年也在减少了我们的重点高级机器学习系统对齐金宝博官方(aamls)议程。虽然我们将这些问题视为非常重要的问题,但继续定期重新审视它们,我们发现Aamls工作不太明显漫无批判比我们迄今为止的其他研究议程都金宝博娱乐要多。
总的来说,我们继续(在2018年结束时,我们在2017年开始探索的攻击途径的一致途径非常激动,无论是对嵌入式机构和尊重我们新的研究线金宝博娱乐.
2017年金宝博娱乐研究支持活动
正如我们所讨论的那样2018年更新,我们正在处理的新研究路线比我们代理基金宝博娱乐金会的研究更容易聘请:
这项工作似乎“发出自己的指南”,而不是代理基金会议程。虽然我们曾经需要极其密切的研究味道的雇员,但我们现在认为我们有足够的地形感,我们可以在某种程度上放松这些要求。金宝博娱乐我们仍在寻找科学创新的雇员,谁是谁相当近于研究品味,但我金宝博娱乐们的工作现在更加可扩展,并且在Miri工作的良好数学家和工程师数量更具可扩展。
因此,我们2017年(持续到2018年)的首要任务之一是建立MIRI,使其能够经历重大的、持续的增长。我们在增加招聘方面得到了很大的帮助布莱克·博格森, 一种自然- 出现先前共同创立递归制药的递归药物并将其机器学习工作作为CTO的计算机学习工作。
具体来说,2017年我们:
- 聘请研究人员金宝博娱乐包括Sam Eisenstat,Abram Demski,Tsvi Benson-Tilsen,Jesse Liptrap和Nick Tarleton。
- 跑了这件事AI夏季研究员计划CFAR。
- 跑3金宝博娱乐研究研讨会关于代理基金会议程,aamls议程,和保罗·克里斯蒂安金宝博娱乐研究议程.我们也跑了很多内部金宝博娱乐研究静修和其他活动。
- 运行软件工程师审判参与者们通过夏季培训成为研究工程师,最终获得了一份工作。金宝博娱乐
2017年对话和博览会
我们2017年的优先事项之一是,将战略景观的模型与其他存在风险和人工智能安全团体进行更多同步和比较。有关这些年来讨论的一些快照,请参阅丹尼尔·杜威的文章想法HRAD和奈特的回复;最近,Eliezer Yudkowsky和Paul Christiano对保罗的对话金宝博娱乐研究提案.
我们还在2017年做了公共对话,博览会和外展。在这方面:
- 发布均衡不足,由Eliezer Yudkowsky的一本书在集团和系统级效率低下,当个人能够比现状做金宝博官方得更好。
- 生产研究博览会金宝博娱乐:关于Miri高度可靠的代理设计研究的动机金宝博娱乐;确保聪明的智慧有积极的结果;安全心态和普通偏执狂;安全心态和物流成功曲线
- 产生的战略和预测博览会:关于Superintelligence,请回复Cegłowski;人工通用智能没有火警;alphago零和领域辩论;我们为什么要关注人工超级智能;对智力爆炸的互惠族Chollet回复
- 收到新闻报道在Huffington帖子那虚荣博览会那鹦鹉螺, 和有线.我们也接受了Mark O'Connell的采访了成为一台机器理查德·克拉克和r·p·艾迪餐厅警告:寻找Cassandras停止灾难.
- 辐在O'Reilly Ai会议,以及在面板上有益的人工智能会议和有效的利他主义全球(1那2).
- 呈现论文在田皮克2017年那少数2017年,AAAI / ACM人工智能,道德和社会会议,并公布了代理基金会议程技术奇点:管理旅程.
- 参加其他活动, 包括 ”设想和解决不良AI结果“亚利桑那州的研讨会和大学州灾难性和存在风险研讨会.
2017财务
筹款
2017年是迄今为止我们筹集资金最多的一年。我们总共筹集了5849500美元, 多于2.5×我们在2016年提出了什么。3.在我们的年度筹款机构中,我们也提高了我们最高目标的两倍.我们非常感谢这种令人难以置信的支持表现。这种意外的筹款成功使我们能够通过我们的增长计划向前迈进,并更有信心,并以各种方式提升了招聘努力。4.
我们在2017年看到的资金巨大增加是显着的推动:
- 加入加密性捐款的大量涌入,占2017年总贡献的约42%。其中最大的是:
- 其他贡献包括:
如下图所示,尽管自2014年以来,我们的融资规模逐年增加,但与之前的增长率相比,2017年看起来非常异常。这在很大程度上是由于加密货币的大量贡献,但即使排除这些贡献,我们也筹集了340万美元,这是我们在2016年筹集的1.5倍。5.
(在这张图表和下面的图表中,“未过期”指的是前一年没有捐款的过去支持者的捐款。)188betapp
虽然最大的贡献推动了整体趋势,但我们在所有贡献者尺寸的贡献者和金额的数量中看到了增长。
2017年,我们收到了745个独特贡献者的捐款,而不是2016年的38%,而2014年几乎和我们参与了svgive.
国际贡献者的支持从2016年的20%增加到2017年的42%。如果我们忽视这项捐款,这一增长在很大程度上受到1.01亿美元的推动,但如果我们忽视这项捐款,支持仍然增加到20%至25%。从2016年底开始,我们一直在努力寻找我们的国际支持者能够贡献的方法税收优缺点.我预计,由于这些努力,这一比例将在2018年大幅上升。6.
支出
在我们的2016年筹款机关,我们预计我们将在2017年花2-220万美元。我们在2017年晚些时候,我们修改我们的估计值2.1-250万美元(估计价值2.25亿美元),以及我们主要预算类别的估计分析。
总的来说,我们的预测相当准确。总支出率在低于2.1米之上。下图比较了我们与我们预测的实际支出。7.
由于我们正在研究我们的AAMLS议程的研究人员,我们预计支出的最大偏差是出现的金宝博娱乐继续(在良好的术语)到其他项目.
有关过去的年度评论,请参阅:2016那2015那2014, 和2013;想了解更多关于2017年的最新信息,请查看我们的2018年更新和筹款机帖子。
- 下面已编辑这些预测以匹配Scott的术语变化,如上所述2018年金宝博娱乐研究计划和预测.↩
- 斯科特在他的帖子中创造了这个问题的名称:普遍存在的匡威的立法问题.↩
- 请注意,由于我们内部追踪捐赠的方式和我们在财务报表中报告捐赠的方式存在细微差异,本部分的金额可能与我们的审计财务报表略有不同。↩
- 看到我们的2018年筹集资金后为更多的信息。↩
- 这与2013年的情况类似,当时我们33%的捐款来自于Jed McCaleb的一笔Ripple捐款。↩
- 感谢他所有的工作的COLM,他已经投入了这一点;看看我们的税收捐赠页面以获取更多信息。↩
- 我们随后的预算投影使用了一套更简单的主要预算类别。我将2017年预算预测转化为此分类方案,以便我们与实际支出的比较,以保持与此新方案一致。↩