有限的因素集

||分析

这是一篇介绍有限因子集的谈话的经过编辑的文字记录。对于大多数读者来说,它可能是学习分解集的最佳起点。

视频:

(轻编辑)幻灯片://www.gqpatrol.com/files/Factored-Set-Slides.pdf


(第一部分,标题幻灯片)···有限的因素集




(第一部分,动机)···一些背景


史考特:所以我想从一些背景开始。对于那些还不熟悉我的作品的人:

  • 我的主要动机是减少生存风险。
  • 我试图通过试图弄清楚如何做到这一点对齐高级人工智能。
  • 我试着去做通过努力成为更少的困惑关于智能,优化,代理以及集群中的各种东西。
  • 我在这里的主要策略是发展一个关于代理人的理论嵌入式在他们优化的环境中。我认为这样做有很多开放的艰难问题。
  • 这让我想到了一些奇怪的数学和哲学。这个演讲将是一些奇怪的数学和哲学的例子。

对于那些我对我的作品已经很熟悉了,我只想说,根据我个人的审美,这次演讲的主题是令人兴奋的逻辑归纳也就是说,我真的很兴奋。我对在座的各位感到非常兴奋;我现在很激动能做这个演讲。

阅读更多»

2021年5月通讯

||时事通讯

节省时间

||分析

注意:这是有限因子集的序言,我将在接下来的几周发布这个序列。太平洋时间这个星期天中午,我将做一个Zoom演讲(关联)推出有限因素集,这是一个框架,我在技术上发现作为逻辑归纳的技术上有趣。

更新5月25日:现在有一个介绍有限因子集的视频和博客文章这里.)


在过去的几年里,我的大部分研究动机都是试图将时间的概念从决策理论问题所产生的所有奇怪的金宝博娱乐因果循环中拯救出来。这篇文章有望解释为什么我这么在乎时间,以及我认为需要解决的问题。

为什么时间吗?

我对时间的最好描述是这样的时间是因果关系.例如,在Pearlian Bayes网中,您可以从较早的节点到较晚的节点绘制边。在某种程度上,我们想要思考因果关系,那么,我们就需要理解时间。

重要的,时间是学习和承诺发生的基础.当代理学习时,他们会随着时间的推移而学习。时间的流逝就像一场仪式机会被破坏,知识被创造.我认为很多学习模式都有微妙的困惑,因为它们基于令人困惑的时间概念。

时间对于思考代理也是至关重要的。我对代理最好的简短定义是代理就是时间旅行.主体是一种机制,通过它未来能够影响过去。代理对其操作的未来结果进行建模,并根据这些结果选择操作。在这个意义上,结果原因这个动作,尽管在标准的物理意义上,这个动作来得更早。

问题:时间是Loopy

随着时间的推移,最主要的问题是它是“糊涂的”。

纽科姆的问题最令人困惑的地方在于,我们总是把自己的决定想成是“在”填充盒子之前做出的,尽管实际上它是在填充盒子之后做出的。这暗示着,除了物理时间之外,也许我们还需要理解其他一些“逻辑”时间。

然而,当我们试图这样做时,我们会遇到两个问题:首先,我们不理解逻辑时间可能来自哪里,或者如何学习它,其次,我们会遇到一些明显的时间循环。

我将把第一个问题放在一边,关注第二个问题。

要理解为什么我们会陷入时间循环,最简单的方法是注意到,物理时间似乎至少有点与逻辑时间纠缠在一起。

想象一下,如果有人对纽科姆的问题进行物理模拟,并追踪所有原子的所有细节。从这个角度来看,似乎有一种有用的感觉,即在代理人决定要一个盒子还是两个盒子之前,先填满盒子。然而,与此同时,这些原子组成了一个代理,它不应该做出决定,仿佛它对改变任何事情都无能为力。

也许这里的解决方案是考虑存在许多不同类型的“前”和“后”,“因”和“果”,等等。例如,从主体优先的角度来看,我们可以说X在Y之前,但从物理优先的角度来看,Y在X之前。

我认为这是对的,我们认为有很多不同的时间系统(希望可以预见到相互关联)。金宝博官方但我认为这并不能解决整个问题。

考虑一对FairBot在一个开源的囚徒困境中,特工们成功地执行了Löbian握手来合作。我想说的是,每个代理的合作在某种程度上导致了另一个代理的合作。我可以说,相对于每个主体,因果/时间顺序的走向是不同的,但我认为在这种情况下,循环是结构的重要组成部分。(我甚至不确定我想在哪个时间方向与哪个代理人联系。)

我们也旨在以其他原因在我们的时间/因果关系中放入循环。例如,当在持续时间持续存在的系统中建模反馈循环时,我们可能会绘制看起来很像贝叶斯网的结构,但不是金宝博官方acclic(例如,pomdp)。我们可以将此视为另一个系统的投影,该系统具有额外的时间维度,但它是一个有用的投影。金宝博官方

解决方案:抽象

我主要希望通过抽象来恢复连贯的时间概念并解开这些时间循环。

在agent基于结果选择行动的例子中,我认为在行动选择之前存在一个抽象的结果模型,即在实际的物理结果之前。

在纽科姆的问题中,我想说的是,在填充盒子之前,存在一个抽象的行为模型。

在开源囚徒困境中,我想说的是,有一个抽象的合作证明,在实际的程序追踪到代理之前,就已经出现了。

所有这些都指向同一个方向:我们需要结构的粗糙抽象版本出现在不同的时间,而不是相同结构的更精细的版本。也许当我们正确地考虑到不同层次的描述在因果链中具有不同的联系时,我们便能够解开所有的时间循环。

但如何?

不幸的是,我们对时间的最好理解是Pearlian的因果关系,而Pearlian的因果关系对抽象概念并没有什么帮助。

Pearl的贝叶斯网中有一些变量,但当这些变量是其他变量的粗糙抽象版本时,我们就必须考虑到决定论,因为我们的一些变量是彼此的决定论函数;而《珍珠》中最精彩的部分则与决定论格格不入。

但问题远不止于此。如果我们在确定性函数的方向上画一个箭头,我们将画一个时间箭头,从结构的更精细版本到该结构的粗糙版本,这与我们所有的例子的方向相反。

也许我们可以避免把箭头从更精细的节点画到更粗的节点,而是画一条从更粗的节点到细化的节点的路径。但是,这样我们就可以对更粗的节点做另一个副本,这个副本确定地位于更细的节点的下游,不增加新的自由度。那么,是什么阻止我们交换较粗节点的两个副本呢?

总的来说,在我看来,Pearl还没有准备好让某些节点成为其他节点的抽象版本,我认为为了节省时间,需要对这些节点进行修复。


讨论:LessWrong

我们有史以来最大的捐赠,以及来自Vitalik Buterin的主要加密支持

||新闻

我很激动地宣布两项重大捐赠给MIRI!

首先,一位长期支持者给了MIRI迄今为止最大的一笔捐款:在接下来的四年里,每年250万美元,2025年再增加560万美元

这一匿名捐款来自一名加密货币投资者以前捐赠188betapp2017年,ETH向MIRI提供101万美元。他们惊人慷慨的新捐赠以3001 MKR的形式出现,治理令牌用于MakerDAO,以太坊区块链上的一个稳定币项目。MIRI收到捐赠的MKR后将其清算为15188betapp,592,829美元。有了这笔捐款,这位匿名捐赠者将成为我们有史以来最大的支持者。

这一捐赠受到时间限制,MIRI可以在未来4年(2021-2024年)的每一年花费最多250万美元的捐赠。剩下的5,592,829美元将在2025年上市。

第二,其他令人惊讶的消息,以太坊的发明者和联合创始人Vitalik Buterin昨天给了我们一笔令人惊讶的1050 ETH的捐款$ 4,378,159

在公开慈善事业之后,这是对Miri的研究计划到Miri的研究计划的第三大贡献金宝博娱乐2020年将获得770万美元的资助以及上面的匿名捐赠。

Vitalik此前已经向MIRI捐赠了超过10188betapp0万美元,包括我们2017年的筹款活动的主要支持。

我们非常感谢这两件前所未有的个人礼物!我们衷心感谢两位捐助者。

2021年4月通讯

||时事通讯

3月2021年3月通讯

||时事通讯

2021年2月通讯

||时事通讯

2021年1月通讯

||时事通讯