2020更新和策略

||Miri战略那新闻

Miri的2020年已经进行了一年的实验和调整。为了回应Covid-19大流行，我们在很大程度上将我们的业务转移到3月份的更多农村地区，并转移到更加重视遥远的工作。我们借此机会尝试新的工作组和研究方法，并在很大程度上对结果感到满意。金宝博娱乐

与此同时，2020年在研究中看到有限的进展，Miri领导以前最兴奋了：新的金宝博娱乐金宝博娱乐研究方向我们在2017年开始。鉴于我们迄今为止的进展缓慢，我们正在考虑对我们的战略进行一些可能的变化，而Miri的研究领导力正在转向他们对寻求更有前途的道路的大部分重点。金宝博娱乐

去年，我预计我们的2020年预算为6.4亿美元，价格为6.4亿美元，点估计为6.8亿美元。我现在预计我们的2020年支出将略高于740万美元。高于我的观点估计的支出的增加主要来自我们迁移员工的费用，并采取预防措施以回应Covid-19大流行。

我们的2021年预算相当不确定，因为我们比平常更有可能在来年看到我们的战略中的高级转变。我目前的估计是，我们的支出将落在600万美元至7.5米之间，我希望大致崩溃如下：

我也很高兴地宣布生存与繁荣基金(SFF)已授予Miri $ 563,000为了支持我们的研究，在他们提供金宝博娱乐的支持之上今年早些时候。

鉴于我们的研究计划处于过渡时期金宝博娱乐，鉴于我们今年已经收到的强大支持 - 4.38亿美元来自公开慈善事业，来自SFF的9万3千美元，以及来自其他捐助者的110万美元(谢谢大家!)——我们今年冬天不会举行正式的筹款活动。在这个过渡时期，我们仍然欢迎和感谢捐赠;但我们要等我们的计划更可靠时再向捐赠者证明。现在，看看我们的188betapp 如果您有兴趣支持我们的研究，请访问页面。金宝博娱乐

下面，我将更详细地详细介绍我们的2020年如何消失，以及我们未来的计划。

2017年起始的研究方向和研究金宝博娱乐计划

2017年，我们介绍一套新的研究方向，我们描述金宝博娱乐和激励了“2018年更新：我们的新研究方向金宝博娱乐。“我们写道，我们“寻求完全新的低级基金会进行优化”，“努力弄清楚认知的部分，这可能是非常透明的，”和“试验一些具体的对准问题。”2019年12月，我们指出，我们觉得我们对这项研究进行了“稳步发展”，但是是金宝博娱乐对迄今为止取得的具体成果感到失望。

在这些研究中推动更多后，Miri高级员工对这种方法变得更加悲观。金宝博娱乐Miri执行董事和高级研究员Nate Soares写道：金宝博娱乐

脸上的非公开研究最令人兴奋的是，尝试为可对准金宝博娱乐的AI开发新的典型可行基础，这并没有通过梯度 - 下降式机器学习基础来依赖于路由。尽管有明显的困难，我们有各种各样的理由希望这可以工作。

此时，该项目在很大程度上失败了，从此没有Eliezer也没有足够的希望，我们继续将我们的主要努力集中在那里。由于域的固有难度，我不确定它是否因实现故障而失败，或由于域的固有难度，或由于潜在理论的缺陷。

鉴于我们的距离可能的距离和对准问题的难度感，我们失去希望的一部分是我们失去希望的感觉太慢了。AI对准领域正在截止日期下工作，使得如果工作进展缓慢，我们会更好放弃并转向新项目，这些新项目有真正的机会使第一个AGI系统建立在可调整的基础上。金宝博官方

我们目前处于重新组合状态，称重我们的选择，并寻找我们相信的计划，以便在工作中拍摄。

看着整个领域，Miri的研究领导力仍然非常悲观，这对我们所看到的大多数一致性提案金宝博娱乐迄今为止提出。也就是说，我们对近期研究方向更加悲观的更新并没有减少我们对替代方面的悲观主义，我们承担的下一个方向不太可能类似于今天Miri外的流行方金宝博娱乐向。

Miri认为需要改变这些项目的课程。与此同时，许多（包括Nate）仍然存在于本研究的理论中的一些希望，并希望这些项目可能会以某种方式救出，例如通过发现和纠正如何在我们接近这项研究中的失败。金宝博娱乐但是在救援工作上花费了努力，反对找到更好，更有前途的对齐计划。

因此，我们正在制定一些改变，影响以前专注于这项工作的员工。有些人在离米里离开不同的工作，因为我们从他们特别适合的线路转向远离线条的方向。有些人正在寻求拯救2017年发起的研究。金宝博娱乐有些人枢转到不同的实验和探索。

我们不确定我们将决定的长期计划，并在生成新可能的策略过程中。一些（非相互独家）可能性包括：

  • 我们可能成为各种研究方法的家庭，旨在开发一个以开发对准的新道路。金宝博娱乐鉴于我们对最佳攻击角度增加的不确定性，它可能是有价值的，以便储备更多样化的项目组合，在方法之间具有一定程度的互通和交叉授粉。
  • 如果我们能够确定我们认为有机会从AGI确保积极成果的真正可能性，我们可能会犯下完全新的方法。
  • 我们可以以不同的形式推出我们2017年发起的研究方向的理论和见解。金宝博娱乐

金宝博娱乐研究写作

虽然我们的2017年启动的研究方向是过去几年的最大重点，金宝博娱乐但我们一直在运行许多与其平行的研究计划。

这项工作的大部分是逐个默认同样，但它包括我们公开写的工作。（请注意，通常，这种公开的工作是我们整体研究的不持久性。）金宝博娱乐

从我们的角度来看，今年我们最有趣的公共工作是斯科特瓦拉德兰特的笛卡尔框架模型和Vanessa Kosoy在红外贝叶斯主义的工作。

笛卡尔框架是一个关于代理商的新框架，旨在作为一个继任者控制论的代理模型。然而，控制室代理模型假定作为基本的代理和环境持续存在于定义和稳定的I / O通道，笛卡尔帧将这些功能视为越来越多的衍生和依赖于概念上涉及物理情况。

笛卡尔框架序列尤其侧重于发现“子代表”概念的找到，近似友好的版本（之前讨论过的“嵌入式机构“）和时间序列（一个源决策理论问题在行为者可以根据对他们自己行为的预测或证明来做出决定的情况下)。该序列的最后一篇文章讨论了这些以及其他的潜力未来工作的指示对于领域来建立。

总的来说，MIRI的研究人员对这样的新金宝博娱乐概念框架非常感兴趣，因为研究进展常常会因为我们使用错误的镜头思考问题，或者我们缺乏一个简单的形式主义来测试直觉而受阻。

与此同时，Vanessa Kosoy和Alex Appel的红贝叶岛主义是一种用于在推理的假设空间可能不包括真实环境的情况下建模推理的新框架。

该框架主要是有趣的，因为它似乎适用于如此多的问题：不可实现，决策理论，人类学，嵌入式代理，反射和诱导/逻辑的诱导/概率的合成。凡妮莎将红外贝叶斯主义描述为“向往来将学习理论应用于许多似乎与之似乎不相容的问题的方式开辟道路。”

2020也看到了一个大更新到斯科特和亚伯兰的“嵌入式机构“”澄清了一些讨论，并补充了几个新的小节。此外，Vanessa的修订版“最优多项式估计：近似算法的贝叶斯概念，“与Alex Appel共同撰写，发表在应用逻辑学报。

为了展示我们一直在推动的其他一些研究领域的照片，我们向一些Miri研究人员和研金宝博娱乐究员们询问了过去一年中的工作中的亮点，评论了他们的选择。

Abram Demski突出了以下写作：

Evan Hubinger总结了他过去一年的公众研究：金宝博娱乐

今年早些时候，巴克·施莱格里斯(关联）和Evan Hubinger（关联）也出现在生命学院的未来AI对齐播客。巴克也谈到了斯坦福：“我的个人曲折，用于致力于AI安全。“

最后，人性研究所研究员和Miri研究助理史蒂特阿姆斯特朗的未来总结了他自己金宝博娱乐的研究亮点：

  • “在线学习奖励函数的陷阱，“使用深麦芽的Jan Leike，Laurent Orsseau和Shane Legg - ”这表明了代理商可以操纵“学习”过程，使得学习实际上不受影响的条件以及将可能的学习过程转变为不受影成的方法。“
  • “模型碎片“ - ”在这里，我认为很多AI安全问题都可以减少到同一个问题：处理从培训数据分发时会发生的事情。我争辩说，处理这些“模型分裂”的原则方式是为了获得安全的AI，以及勾勒出一些例子。“
  • “语法，语义和符号接地，简化“ - ”在这里，我认为象征接地是一种实用，必要的事情，而不是抽象的哲学概念。“

过程改进和计划

鉴于Covid-19大流行带来的不寻常情况，2020年Miri决定经营各种实验，看看我们是否可以提高我们的研究人员的生产力，而我们的伯克利办公室无法使用。金宝博娱乐在此过程中，我们的研究团队的相当大的子集对我们的工作环境有了很好的修改，我们的目金宝博娱乐标是维持和扩展。

我们今年在相对农村地区度金宝博娱乐过的现场检疫群体中花费了许多研究人员，以回应Covid-19大流行，发现令人惊讶的是令人惊讶地与一些其他研究人员一起生活在更安静的下密度区域。协调和研究在元层面上感到更快，反馈金宝博娱乐周期较短，更加努力，更令人讨厌的实验，并更多的枢轴。如上所述，我们最大的此类枢轴已远离2017年启动的研究方向。金宝博娱乐

另外，Miri工作人员一直在衡量湾区以外的某处的成本和效益几年 - 考虑到住房危机和其他治理失败，当地文化的优缺点，事情的尾部风险在未来更糟糕的是因素。

部分原因是这些考虑因素，部分是因为当我们今年的许多人因为Covid-19已经重新安置时，Miri正在考虑迁离Berkeley，因此更容易移动。当我们权衡选项时，我们考虑的特别是大量因素是我们的研究人员是否期望地理位置，生活情况和工作设置感觉良好和舒适，因为我们通常期望这导致改进的研究进展。金宝博娱乐越来越多地，这个因素指向我们走向一些新的新东西。

米里的许多人已经注意到过去，有一些社交环境，例如小的有效利他主义或对齐研究撤退，似乎引发了异常高的富有成效的谈话密度。金宝博娱乐这种撤退中的大部分能量和活力可能源于它们的新颖性和时代的性质。然而，我们怀疑这些事件往往是密集和富有成效的唯一原因，我们相信我们可能能够创造每天有一些这些功能的空间。

今年，我们的一些研究人员确实觉得我们在大流行期间的新工金宝博娱乐作设定了很多这一质量。因此，我们非常渴望查看我们是否可以将Miri作为工作场所修改，以便保持此功能，或进一步增强它。

然后，我们的一年，已经表现了我们对研究实践的思考以及最有希望的研究方向的一些重要转变。金宝博娱乐

虽然我们对理解如何对准AGI级优化的近期具体进展感到失望，但我们计划继续利用Miri强大的人才池，并积累了对对齐的思考，因为我们寻找新的和更好的道路前进。我们将为我们的计划巩固提供更多关于我们新策略的更新。