坚固且有益的AI上的Colloquium系列
(CSRBAI)

miri_vertical_w_border.fhi-logo.牛津徽标

概要

从2016年5月到2016年5月17日,机器智能研究所(Miri)和牛津大学的人类学院(FHI)的未来(FHI金宝博娱乐)在加利福尼亚伯克利伯克利的Miri办公室提供了一个关于强大和有益的AI的古典系列。该计划汇集了各种学者和专业人士,解决与AI稳健性和可靠性相关的技术挑战,其目标是促进对许多不同方法感兴趣的人之间的对话。

在长远来看,参加者签署了旨在确定和协作,旨在确保AI有益的研究项目,重点是当今易易行的技术问题。金宝博娱乐该系列包括所选发言者,开放式讨论和特定问题的工作组的讲座。有针对性的研讨会在周末跑。

参与者参加了一个(或一部分)谈话和/或他们选择的研讨会。尽管不需要,但仍有可能出席整个事件。

该计划是免费参加的。提供食物,提供住宿和旅行援助的限制。

地点

Miri在加利福尼亚州伯克利市中心的新办事处。

安排和主题

整个计划从5月27日星期五到2016年6月17日星期六,结束了ICML前一天。该计划分为下面详述的四个部分。

CSRBAICALENDAR-UPDATED2

每日时间表

每天基本时间表是:

  • 上午10:00 - 门正式开放。
  • 上午11:00 - 日开始(第一次谈话或讲习班)。
  • 下午1:00 - 酒店内提供午餐。
  • 下午6:00 - 酒店内的晚餐。
  • 晚上7:00 - 门正式关闭。

CSRBAI第1周:透明度

在许多情况下,人类可能会难以理解AI系统的内部状态和推理。金宝博官方这使得预测此类系统的行为和正确的错误更加困难。金宝博官方另一方面,在沟通某些机器学习系统的内部,并且在正式验证算法的某些特征方面,已经存在突触的进步。金宝博官方我们希望看到我们可以在保持其功能的同时推动AI系统的透明度。金宝博官方

这些主题在第一周推出,但之后建于透明度是许多稳健性和耐堵塞方法的重要组成部分。

相关主题包括:

预定的事件:

活动开球和古代会谈
星期五,5月27日

斯图尔特罗素(UC Berkeley)
AI:到目前为止的故事-视频幻灯片
摘要:我将讨论AI领域对可怕的有益制度的基本重新定向的必要性。金宝博官方这种需求已经被一些人争议,我会考虑他们的论点。我还将讨论所涉及的技术挑战,以及一些有希望的初始结果。

艾伦蕨类植物(俄勒冈州立大学)
识别和解释不确定性-视频幻灯片1幻灯片2

Francesca Rossi.(IBM 金宝博娱乐Research)
道德偏好-视频幻灯片
摘要:我们日常生活中智能系统将越来越普遍。金宝博官方他们会照顾老年人和孩子,他们会为我们开车,他们建议医生如何治愈疾病。但是,如果我们不相信它们,我们就不能让他们做所有非常有用和有益的任务。为了建立信任,我们需要确保他们以道德上可接受的方式行事。因此,了解如何将道德价值嵌入智能机器。现有的偏好建模和推理框架可以是一个起点,因为它们定义了过度行动的优先级,就像道德理论一样。然而,当我们混合偏好(在决策的核心)和道德中,在个人水平和社会背景下,涉及更多问题。我会讨论一些问题以及一些可能的解决方案。

透明度研讨会
星期六/太阳,5月28日至29日

汤姆·迪斯特里奇(俄勒冈州立大学)
关于AI透明度的问题-幻灯片

此研讨会专注于AI系统中透明度的主题,以及我们如何在维护能力的同时提高透明度。金宝博官方该研讨会通过非正式演示,小组合作和定期重新组合和讨论探索了这些问题。

CSRBAI第2周:鲁棒性和误差

我们如何确保当AI系统失败时,它们优雅地和可检测到?金宝博官方这对于必须适应新的或更改环境的系统很难;金宝博官方当测试数据分发与培训数据分发不匹配时,机器学习系统的标准PAC保证无法保持。金宝博官方此外,能够有意义地推金宝博官方理的系统可能具有掩盖将会关闭的故障的激励措施。我们更喜欢具有开发和验证AI系统的方法,以便可以快速注意到和纠正任何错误。金宝博官方

相关主题包括:

预定的事件:

讨论会
6月1日星期三

Stefano Ermon.(斯坦福)
概率推理和准确性保证-视频幻灯片
摘要:高维概率模型的统计推断是AI中的核心问题之一。迄今为止,只开发了一些不同的方法,最值得注意的是(MCMC)采样和变分方法。虽然经常在实践中有效,但这些技术通常不提供对结果的准确性的保证。在这次谈判中,我将根据理论计算机科学界的想法呈现替代方法。这些方法可以利用组合优化的最近进步,并提供精确度的可证明的保证。

星期四,6月2日

保罗·基督教(UC Berkeley)
培训一个对齐的RL代理-视频

吉姆巴巴科克
AGI遏制问题-视频幻灯片
摘要:确保强大的AGIS是安全的,将涉及测试和试验它们,但是一个不端行为的AGI可能会尝试通过其测试环境篡改,以获得访问互联网或修改测试结果。我将讨论保护环境以测试AGIS的挑战。http://arxiv.org/abs/1604.00545.

星期五,6月3日

Bart Selman.(康奈尔大学)
非人类情报-视频幻灯片

杰西卡泰勒(Miri)
高级机器学习系统的值对齐金宝博官方-视频
摘要:如果使用与现代机器学习的算法开发人造总体智能,我们如何瞄准所产生的系统以安全地实现世界上有用的目标?金宝博官方我为新的Miri项目提出了一项专注于这个问题的技术议程。

关于鲁棒性和误差的研讨会
坐/太阳,6月4日至5日

该研讨会专注于AI系统中的鲁棒性和误差的主题,以及如何确保当AI系统失败时,它们优雅和可检测到。金宝博官方我们希望开发和验证AI系统的方法,以便可以快速注意到和纠正任何错误。金宝博官方该研讨会通过非正式演示,小组合作和定期重新组合和讨论探索了这些问题。

CSRBAI第3周:偏好规范

当系统可能会发现追求特定目标的意想不到的方法时,希望代码“做我的意思是我的意思,而不是我说的是我所说的”的多年生问题变得越来越挑战。金宝博官方因此,能够高度的AI系统,从而增加了金宝博官方指定安全和有用的目标的难度,或指定用于学习人类偏好的安全和有用的方法。

相关主题包括:

预定的事件:

讨论会
6月8日星期三

迪伦哈菲尔德门尔(UC Berkeley)
关闭开关:设计违规,且功能性,人工代理-视频幻灯片
摘要:如果它接受或协助其目标,人为代理是违规的。至少,扶正剂应允许其程序员关闭。如果能够执行非琐碎的任务,则人工剂是功能性的。例如,立即关闭自动关闭的机器是无用的(除了作为新颖的项目之外)。在标准钢筋学习代理中,这些行为的激励措施基本上处于赔率。代理人要么想要关闭,想要保持活力,或者在两者之间漠不关心。其中,漠不关心是唯一的安全和有用的选择,但有理由相信这对代理商的激励措施是一个很强的条件。在这次谈话中,我将提出一个违规,且功能,代理作为解决机器人的目标的解决方案的设计是最大化人类的奖励的奖励。我们对游戏的解决方案进行平衡分析,并确定三个关键特性。首先,我们表明,如果人类合理行为,那么机器人将违规。 Second, we show that if the robot has no uncertainty about human preferences, then the robot will be incorrigible or non-function if the human is even slightly suboptimal. Finally, we analyze the Gaussian setting and characterize the necessary and sufficient conditions, as a function of the robot’s belief about human preferences and the degree of human irrationality, to ensure that the robot will be corrigible and functional.

星期四,6月9日

BAS SteuneBrink.(瑞士AI Lab Idsia)
关于了解,意思和价值观-视频幻灯片
Abstract: We will discuss ongoing research into value learning: how an agent can gradually learn to understand the world it’s in, learn to understand what we mean for it to do, learn to understand as well as be compelled to adhere to proper values, and learn to do so robustly in the face of inaccurate, inconsistent, and incomplete information as well as underspecified, conflicting, and updatable goals. To fulfill this ambitious vision we have a long road of gradual teaching and testing ahead of us.

Jan Leike.(人类学院的未来)
一般加强学习-视频幻灯片
摘要:一般强化学习(GRL)是在未知环境中的代理理论,这些环境是非马尔可夫,非ergodic,并且仅部分可观察到的。GRL可以作为强壮AI的模型,并广泛用于调查与AI安全相关的问题。我们的重点不是实际算法,而是对基本潜在问题:我们如何平衡勘探和剥削?我们如何最佳地探索?代理人的最佳何时?我们概述了模型的当前缺点并指向未来的研究方向。金宝博娱乐

星期五,6月10日

汤姆埃弗蒂特(澳大利亚国立大学)
避免具有价值增强学习的幂汇-视频幻灯片
摘要:我们如何为任意智​​能代理设计良好的目标?强化学习(RL)看起来像是一种自然的方法。不幸的是,RL对于一般智能代理商不适用于良好,因为RL代理被激励以快捷方式换档传感器以获得最大奖励 - 所谓的线头头发问题。在本文中,我们建议RL称为价值强化学习(VRL)的替代方案。在VRL中,代理使用奖励信号来学习实用程序功能。VRL Setup允许我们通过对代理程序的操作提供限制来删除激励对Wirehead的激励。约束在代理人的信仰分布方面定义,并且不需要明确的规范构成了该行动构成了线头头发。我们的VRL代理商提供了对RL代理商的易于控制,并避免了线头的激励。https://arxiv.org/abs/1605.03143.

Jaan Altosaar.(普林斯顿和哥伦比亚)
F-Proximity变分推理
摘要:变分推理是近似后部推理的流行方法。但是,如果参数初始化很差,则该方法可能会遭受病理学和“关闭”模型的部分。我们通过开发通过可以是参数任何功能的约束来制定用于约束模型参数的一般框架来解决这个问题。我们得出了一种可伸缩的变体,可作为变分推理快速运行。在我们的实验中,我们表明我们的方法对初始化不太敏感,并且可以增加具有离散和连续变量的模型的模型的数据后部的分集。在变形式自动化器(使用神经网络以扩展贝叶斯推理的模型)中,我们提高了模型容量的使用,并违反了这一点不会导致更好的性能。

偏好规范研讨会
坐/太阳,6月11日至12日

该研讨会专注于高度有能力的AI系统的偏好规范主题。金宝博官方该研讨会通过非正式演示,小组合作和定期重新组合和讨论探索了这些问题。

CSRBAI第4周:代理模型和多智能经纪人困境

在设计代理人在其环境中表现良好时,忽略代理人自己的行为对环境或环境中的其他代理人的影响是风险的。例如,广泛使用的垃圾邮件分类器可能会导致它接收的数据分布的变化,因为对抗性垃圾邮件发送者尝试绕过分类器。在这种情况下,博弈论,决策理论和经济学的考虑因素变得越来越有用。

相关主题包括:

  • 对抗性游戏和网络安全
  • 多功能协调
  • AI互动的经济模型

预定的事件:

讨论会
6月15日星期三

迈克尔·威尔曼(密歇根大学)
金融市场的自主代理:影响和风险-视频幻灯片
摘要:适合强大,有益的AI是未来的主题,也是在今天许多领域的自主代理领先优势的更直接关注。AI已经泛滥的一个领域是在金融市场上,其中一大部分交易是通过算法进行的,并通过算法进行。模型和观察研究已经让我们对AI交易员对市场表现和稳定的影响有所了解。鉴于AIS的存在,鉴于AIS的存在的设计和调节也可能产生更普遍的处理自主代理的课程。

Stefano Albrecht.(UT AUSTIN)
学习区分信仰和真理-视频幻灯片
摘要:智能代理经常建立其他代理商的模型,以促进其自身行为的规划。复杂的代理也可能在一组替代模型上保持信仰。不幸的是,这些方法通常不会在互动期间检查其模型的有效性。因此,代理人可以学习和使用不正确的模型而不实现它。在这次谈话中,我会争辩说,强大的代理人应该具有两种能力:构建其他代理的模型考虑其模型的正确性。我将提出一种行为假设检测方法以及一些实验结果。谈判将结束与开放问题和可能的研究议程结束。金宝博娱乐

星期四,6月16日

斯图尔特阿姆斯特朗(人类学院的未来,牛津大学)
减少影响ai和其他替代品友好-视频幻灯片
摘要:这次谈话将看一些开发的一些想法,以创造安全的ai,而无需解决友好问题。它将首先关注“减少影响AI”,AIS旨在对世界几乎没有影响 - 但仍然可以提取高影响力。然后,它将深入了解AIS的新思想,旨在仅对自己的虚拟世界进行偏好,并介绍使用漠不关量作为AI控制工具的优势和局限性。

安德鲁克克里奇(Miri)
有限代理的强大合作-视频
摘要:一对可能互相摧毁的代理商之间的第一个互动可以类似于一次囚犯的困境。考虑这样的游戏,其中每个播放器是一种具有对其对手的源代码的读取访问的算法。Tennenholtz(2004)介绍了一个合作的代理商,IFF其对手的源代码与自己的源代码相同,因此有时会实现相互合作,同时仍然是普遍的无法解释的。然而,精确的计划平等是一种脆弱的合作标准。在这里,我将展现出一种新的和更强大的合作标准,灵感来自Lavictoire,Barasz和其他人(2014)的想法,以便为有界性质的可证明逻辑中的新定理使用新的定理。

代理模型和多功能困境的研讨会
星期五,6月17日

本研讨会专注于设计代理的主题,在其环境中表现良好,而不忽略代理人自己的行为对环境的影响或环境中的其他代理。该研讨会通过非正式演示,小组合作和定期重新组合和讨论探索了这些问题。

晚餐和关闭搅拌机

格式

谈话日

一个和三个会谈之间的斗篷谈话日特征,从上午11:00,下午12:00和下午2:00开始。随着主题的需要,谈判将从20分钟到55分钟,其剩余时间致力于讨论,Q&AS和休息。下午的剩余时间是非结构化的。

讲习班

周末研讨会专注于在小组中工作,以添加到知识前沿,并开始未来的合作(而不是呈现现有的研究)。金宝博娱乐每个研讨会都始于一些短暂的开场会谈,然后参与者将组建讨论和调查的主题议程,较小的亚组。这些亚组是临时和液体;目标是让人们有效地与共同兴趣的主题一起工作。

开放的日子

星期一和星期二主要是未经核制的,可以以任何方式使用与会者发现有用的方式。在空间内将有很多空格,其中包括一些突破室和白板。

现在申请

参加此活动的申请现已关闭。

参与者的信息

可以找到一般访客信息Intelligence.org/visitors/

成本

该计划可以自由参加。提供食物,提供住宿和旅行援助。

宿舍

酒店提供住宿,可供与会者提供,距离伯克利市中心的酒店距离Miri办公室街区街区。

旅行

飞行和旅行费用将为选择与会者报销。与会者将负责预订旅行。发送收据收据@ www.gqpatrol.com.以及您的首选报销方法(PayPal,ACH或检查)。

国际参与者

与会者在进入美国时提供邀请函。