MIRIx的新野外指南

||新闻

我们刚刚释放了a现场指南对于MIRIx群体,以及其他想要参与其中的人AI对齐金宝博娱乐研究。

Mirix是一个计划,Miri有助于涵盖想要在AI安全开放问题上工作的外部团体的基本费用。您可以启动自己的小组或查找有关现有聚会的信息www.gqpatrol.com/mirix

几个MIRIx小组最近都在加强他们的活动,包括:

  • 加州大学欧文分校:丹尼尔·赫尔曼正在加州欧文市成立一个MIRIx团体。联系他如果你想参与的话。
  • 西雅图: MIRIxSeattle是一个正在重新启动和增加其活动的小团队。联系Pasha Kamyshev.如果你感兴趣。
  • 温哥华安德鲁·麦克奈特Evan Gaenbauer.正在寻找更多人喜​​欢加入Mirixvancouver事件的人。

新的校准领域指南旨在为MIRIx小组提供提示和背景模型,基于我们的经验,往往使一个研究小组成功或失败。金宝博娱乐

导游开始:


序言我:决策理论

你好!您可能会注意到您正在阅读一个文档。

这一事实具有一定的含义。比如,你为什么要读这篇文章?你会完成它吗?你最终会做出什么决定?接下来你要做什么?

请注意,无论你最终做什么,很可能会有几十甚至上百个与你非常相似、处于相似位置的人,他们会遵循与你非常相似的推理,做出与你相匹配的选择。

鉴于这一点,我们的建议是通过询问问题“是什么政策,如果紧随其后的所有代理商,这将导致最有益的是,这是我们的建议,即最不好的,以及该政策在我的特定情况下表达了什么?”这是一个试图决定所有类似的代理的问题少(这可能会导致您造成错误的选择或压力的错误选择),更像是“如果我这样的话在我的引用类中负责所有代理,我将如何处理该类的实例我的具体特征?“

如果这种想法引导你继续阅读下去,那很好。如果它能引导你建立一个《MIRIx》章节,那就更好了。与此同时,我们将继续进行,就好像只有那些有理由认为它相当有用的人才会阅读这份文件一样。

序言二:表面面积

想象一下,您已被任务移动一块米的固体铁立方体。鉴于这样的立方体重量~16000磅,并且平均人类可以提升〜100磅,一个天真的估计告诉你,你可以用〜150愿朋友解决这个问题。

但当然,一米的立方体最多能容纳10个人左右。它不如果您有理论能力,如果您不能以有效的方式带来该电源。问题受其限制表面积

MIRIx章节是增加人们思考和处理AI对齐技术问题的表面积的最好方法之一。正如这将是一个坏主意法令”发生在10人目前是最接近金属立方体是唯一允许考虑如何思考这个问题”,我们不希望米里成为瓶颈或权威什么样的思维可以而且应该做的领域嵌入式代理和其他相关的研究领域。金宝博娱乐

希望你和其他像你一样的人能够真正帮助解决问题,而不仅仅是遵循指示或阅读已经写好的东西。本文档旨在支持那些对自己进行真正的突破性研究感兴趣的人。金宝博娱乐

(阅读更多)

2019年2月通讯

||时事通讯

关于人体模型的思考

||分析

这是MIRI研究助理和DeepMind研究科学家Raman金宝博娱乐a Kumar和MIRI研究员Scott Garrabrant的联合文章,交叉发表于AI对齐论坛胜败


人类的价值观和偏好是很难确定的,特别是在复杂的领域。因此,许多AGI安全研究集中在参照人类价值观和偏好的AGI金宝博娱乐设计方法上间接通过学习一个基于人类价值观表达(通过声明的偏好、观察到的行为、认可等)和/或生成这些价值观表达的真实世界过程的模型。还有一些方法旨在模拟或模仿人类认知或行为的其他方面,但没有明确的捕获人类偏好的目标(但通常服务于最终满足它们)。让我们把所有这些模型称为人体模型

在本文中,我们将讨论对使用人体模型的AGI设计要谨慎的几个原因。我们建议AGI安全研究社区将更多的精力投入到开发在缺少人体模型金宝博娱乐的情况下工作良好的方法,以及依赖于人体模型的方法上。这将是对当前安全研究领域的一个重要补充,特别是如果我们专注于制定和尝试具体的方法,而不是发展理论。金宝博娱乐我们也承认,避免人体模型似乎很难的原因有很多。

人体模型的问题

为了清楚的是人类模型,我们在我们的实际偏好(美国可能无法完全访问)和评估我们偏好的程序之间的粗略区别。第一件事,实际的偏好是人类实际上想要的东西。满足我们的实际偏好是胜利。评估偏好的第二件事,是指我们的实际偏好的各种代理,例如我们的批准,或者对我们看起来很好(必然有限的信息或思考时间)。人类模型在第二类;例如,考虑一下,对结果的描述集/无批准的高度准确的ML模型。我们首次关注的是下面描述的是对人类批准的过度接受,从而打破了与我们的实际偏好的联系。(这是一个古老的法律的情况。)

阅读更多»

我们的2018筹款回顾

||新闻

我们的2018年筹集资金截止到12月31日,历时5周的筹款活动共筹集了951817美元1来帮助推进MIRI的使命。我们超过了我们的Mainline目标(50万美元),并再次实现了我们的加速增长目标(120万美元)的一半以上。我们感谢所有支持我们的人。谢谢你!

资金筹集活动总结

348年捐助者的贡献

加密货币的价格明显低于我们2017年筹集资金这一次,我们从加密货币持有者那里获得的资金减少了(约6%)。尽管如此,我们的筹款是成功的,在很大程度上归功于MIRI的支持者在筹款期间参与了多个匹配活动,包括春季的形象匹配竞选活动, Facebook的送星期二活动和职业扑克玩家丹·史密斯的加倍开车,由专家管理为有效的奉献而筹款

阅读更多»

2019年1月通讯

||时事通讯

2018年12月通讯

||时事通讯

宣布新版“合理性:从AI到僵尸”

||新闻

Miri正在推出一个新版本合理性:从AI到僵尸,包括第一套接待员:阿兹 纸质书地图和地区(卷1)如何真正改变你的想法(第2卷)今天出现!

地图和地区如何真正改变你的想法

  • 地图和地区是:
  • 如何真正改变你的想法是:
  • $8在亚马逊,以获取印刷版。
  • “付你-在Gumroad,用于PDF,EPUB和MOBI版本(第二天就可以了).

阅读更多»

2017年回顾

||米里策略

这篇文章的评论MIRI在2017年的活动,包括研究、招募、展览和金宝博娱乐筹款活动。

2017年是Miri的一个重要的过渡年,因为我们采用了新的研究项目,这些项目在实践方案工作和实验中具有更大的依赖。金宝博娱乐我们在2018年继续进行这些项目,他们在我们的情况下更详细地描述2018年更新.这意味着一个重大关注铺设基础的基础速度比过去的增长更快,包括建立基础设施,并改变我们如何招募到更多有工程背景的人。

阅读更多»