Daniel Roy谈概率规划和人工智能

||对话

丹尼尔罗伊肖像丹尼尔·罗伊是多伦多大学统计数据助理教授。罗伊赢得了一个S.B.和m.eng。在电气工程和计算机科学和博士中。在计算机科学中,从麻省理工学院。他对概率编程的论文收到了该部门的乔治M·斯普罗尔论文奖。随后,他举办了皇家社会的牛顿国际奖学金,由剑桥大学的机器学习集团举办,然后在伊曼纽尔学院举行了研究奖学金。金宝博娱乐ROY的研究金宝博娱乐侧重于混合计算机科学,统计和概率的理论问题。

路加福音Muehlhauser:摘要阿克曼,弗里尔和罗伊(2010)开始:

随着计算机科学中的归纳推理和机器学习方法不断取得成功,研究人员正致力于描述更复杂的概率模型和推理算法。金宝博娱乐机械化概率推理的极限是什么?我们研究了条件概率的可计算性,并证明了存在可计算的联合分布与不可计算的条件分布,排除了一般推理算法的前景。

在什么意义上,你的结果(与Ackerman & Freer)排除了一般推理算法的前景?


丹尼尔·罗伊:首先,重要的是要强调,当我们说“概率推论”我们指的是计算问题条件概率,同时强调了条件反射在贝叶斯统计分析中的作用。

贝叶斯推理以所谓的后验分布为中心。从主观主义的观点来看,后验代表了一个人在看到(即条件反射)数据后更新的信念。从数学上讲,后验分布只是一个条件分布(每个条件分布在某些统计模型中都可以被解释为后验分布),所以我们对条件的可计算性的研究也与后验分布的计算问题有关,这可以说是贝叶斯分析的核心计算问题之一。

其次,澄清我们所说的“一般推断”是什么意思是很重要的。在机器学习和人工智能(AI)中,有定义形式语言的悠久传统,人们可以在一组变量中指定概率模型。定义发行版可能很困难,但是这些语言可以使它更加简单。

我们的目标是设计可以使用这些表示来支持重要操作的算法,比如计算条件分布。贝叶斯网络可以被认为是这样一种语言:通过在这些变量上指定一个图来指定一个分布,这个图将整个分布分解成与每个节点对应的“局部”条件分布,它们本身通常用概率表表示(至少在所有变量只取有限值的情况下)。图和局部条件分布一起决定了所有变量的唯一分布。

支持所有有限离散贝叶斯网络的整个类的推理算法可以称为一般的,但作为一类分布,那些有有限离散贝叶斯网络的是相当小的。

在这项工作中,我们感兴趣的是在非常大的分布类上工作的算法的前景。也就是说,我们正在考虑一类可抽样分布,即,这类分布存在一个概率程序,可以使用均匀分布的随机数或独立的抛硬币作为随机源来生成样本。这类可采样分布是一种自然分布:实际上它与可计算分布是等价的,也就是说,我们可以设计算法从开集的描述来计算概率的下界。这类可抽样分布也等价于我们可以从有界连续函数的描述来计算期望的一类分布。

从某种意义上说,可分布的类是您可能希望处理的最富有的阶级。我们问的问题是:在有一个算法中,给定两个变量x和y上的可分布,由两个变量的值示出的程序,可以计算x = x的条件分布,因为几乎所有值为x?当x在有限的离散集中取值时,例如,当x为二进制值时,存在一般算法,但它效率低下。但是,当x是连续的时,例如,当它可以在单位间隔中的每个值进行时,则可能会出现问题。特别地,在[0,1]中存在一对数字的分布,其中一个数字可以从中生成完美的样本,而是不可能计算给另一个变量的条件概率。正如人们所期望的那样,证明会减少对调节特制分布的停止问题。

这种病态的分布排除了条件反射(等价地,概率推理)的通用算法的可能性。文章最后给出了一些进一步的条件,这些条件允许人们设计一般的推理算法。那些熟悉计算有限维统计模型的条件分布的人不会惊讶贝叶斯定理的必要条件就是一个例子。


卢基在你的论文(或其他地方)中,你表达了对概率编程与人工智能的相关性的特别兴趣,包括人工智能的最初目标是建造能够匹敌人类一般智能的机器。你如何描述概率编程与人工智能长期梦想的相关性?


丹尼尔:如果您查看早期概率编程系统,它们由AI研究人员建造:De Raedt,Koller,Mcalle金宝博官方ster,Muggleton,Pfeffer,Poole,Sa金宝博娱乐to,名称。教会语言在与MIT的研究生虽然是MIT的研究生,但在Conawitz,Mansinghka,Goodman和Tenenbaum中介绍的教会语言被构思,最重要的是给我们一种富有的语言来表达模型的范围那人们在我们周围发明。所以,对我来说,总是有深入的联系。另一方面,机器学习界整体对AI有点过敏,因此对该社区的音调更常见地务实:这些系统可以有一天可以让专家设想,原型和部署更大的概率系统,以及金宝博官方同时,赋予更大的非普通社区使用概率建模技术来了解他们的数据。这是DARPA的基础PPAML该项目将资助8个左右的团队在未来4年内设计可伸缩系统。金宝博官方

从人工智能的角度来看,概率程序是知识的一种非常普遍的表示,它用随机计算来识别不确定性。弗里尔,特南鲍姆,我最近写了一本书的一章对于使用经典医学诊断示例的图灵百年来展示概率计划的灵活性和用于执行概率调节的一般查询运算符。不可否认,书籍章节忽略了查询运营商的计算复杂性,并且对AI的任何严肃提案都无法无限期地完成这一问题。了解何时我们能够在新的观测中能够有效地更新我们的知识,这是一个丰富的研究问题来源,既有应用与理论,跨越AI和机器学习,也是统计,概率,物理,理论计算机科学等。金宝博娱乐


卢基:将QUERY视为一个“玩具模型”,我们可以以具体的方式与之合作,以获得长期人工智能研究议程的某些部分的更广泛的洞察力,即使QUERY不太可能直接在高级人工智能系统中实现,这是否公平?金宝博娱乐金宝博官方(例如,这就是我对AIXI的看法。)


丹尼尔我不太愿意把QUERY称为玩具模型。条件概率是一个很难掌握的概念,但是,对于那些擅长对程序执行进行推理的人来说,QUERY在很大程度上揭开了这个概念的神秘面纱。QUERY是概率条件作用的一个重要概念模型。

也就是说,我们在图灵文章中提出的简单的猜测和检查算法运行的时间与事件/数据的概率成反比。在大多数统计设置中,作为数据点数量的函数,数据集的概率以指数的方式衰减为0,所以猜测和检查只能用于在这些设置中使用玩具数据集进行推理。听到最先进的概率编程系统的工作方式与此不同,应该不会感到惊讶。金宝博官方

另一方面,查询是以基本的方式实现的,可用于代表和原因概率上关于任意计算过程,无论它们是垃圾邮件到达时间的模型,通过网络的疾病传播,还是光线击中我们的视网膜。计算机科学家,尤其是那些可能对概率和统计数据的范围有狭隘观点的狭隘观点,将在他们理解查询后看到这些字段之间的重叠更大。

对于那些熟悉AIXI的人来说,它们之间的区别很明显:QUERY在作为输入的模型中执行概率推理。另一方面,AIXI本身是一个“通用”模型,虽然不可计算,但它很可能预测(超)智能行为,如果我们(反事实)能够执行必要的概率推断(并为它提供足够的数据)。Hutter给出了一种近似AIXI的算法,但它的计算复杂度在空间中仍呈指数级增长。AIXI在很多方面都很吸引人:如果我们忽略计算现实,我们会得到一个完整的人工智能方案。另一方面,AIXI及其近似最大限度地利用了这种计算余地,因此,最终是不令人满意的。对我来说,AIXI和相关的观点强调了人工智能必须是一种对特殊性和普遍性的研究。哪些可能无法验证,但很有用的假设将使我们能够有效地表示、更新和在不确定性下对知识采取行动?


卢基你写道:“人工智能必须既是对普遍事物的研究,也是对特殊事物的研究。”自然,大多数人工智能科学家都在研究特定的、近期的应用。在你看来,在AI中还有什么其他的普遍性的例子吗?我想到了Schmidhuber的Gödel机器,也想到了一些可能在逻辑或正式哲学系完成的工作,就像在计算机科学系完成的工作一样——例如,可能是关于逻辑推理的工作——但我很想知道你在想什么样的工作。


丹尼尔我不会将任何两个特定的,近期的,或应用。我所说的“特别”这个词指的是,例如,我们的环境影响我们的思想,但也受到我们思想的影响,尤其是通过社会。更具体地说,我们大多数人每天所处的物理空间和我们经常用来思考日常活动的心理概念都是人类思维的产物。但更重要的是,这些物理和心理空间必须是我们的思想可以轻易支配的。在人工智能的背景下,这种互动的共同进化并未得到很好的研究。在这种循环占据主导地位的情况下,我们认为通用AI是真正的外星人。另一方面,利用人类结构的限制可能让我们构建更有效的人工智能。

至于通用性,我感兴趣的是噪声可以使理想的运算可计算,甚至是有效的可计算。在我们之前讨论过的关于条件反射可计算性的工作中,我们证明了在随机变量中加入足够平滑的独立噪声可以让我们在其他情况下无法执行条件反射的情况下执行条件反射。其他地方也有类似的例子。例如,布雷弗曼,格里戈和罗哈斯在动态系统中的研究噪声和难触伤性。金宝博官方具体地,他们表明计算表征动态系统的长期统计行为的不变度量是不可能的。金宝博官方道路块是动态系统本身的计算能力。金宝博官方然而,对动态的少量噪声减少了动态系统的计算能力,并且足以使得不变度量可计算。金宝博官方在一个受噪声的世界(或者至少是良好的建模),似乎许多理论障碍物融化了。


卢基:谢谢,丹尼尔!