斯图亚特·罗素(加州大学伯克利分校)
AI：到目前为止的故事- - - - - -视频，幻灯片
摘要:我将讨论人工智能领域向可证明的有益系统进行根本性重新定位的必要性。金宝博官方这个需要已经被一些人争论过了，我将考虑他们的论点。我还将讨论所涉及的技术挑战和一些有希望的初步结果。

艾伦蕨类植物(俄勒冈州立大学)
认识和解释不确定性- - - - - -视频，幻灯片1，幻灯片2

弗兰西斯卡罗西(IBM 金宝博娱乐Research)
道德偏好- - - - - -视频，幻灯片
摘要:智能系统将越来越多地渗透到我们的日常生金宝博官方活中。他们会照顾老人和孩子，他们会为我们开车，他们会建议医生如何治疗疾病。然而，如果我们不信任他们，我们就不能让他们做所有这些非常有用和有益的任务。为了建立信任，我们需要确保他们以道德上可接受的方式行事。因此，理解如何将道德价值观植入智能机器非常重要。现有的偏好建模和推理框架可以作为一个起点，因为它们定义了行动的优先级，就像伦理理论所做的那样。然而，当我们把偏好(决策的核心)和道德混合在一起时，涉及到更多的问题，无论是在个人层面还是在社会背景下。我将讨论其中一些问题以及一些可能的解决方案。

汤姆·迪斯特里奇(俄勒冈州立大学)
关于AI透明度的问题- - - - - -幻灯片

此研讨会专注于AI系统中透明度的主题，以及我们如何在维护能力的同时提高透明度。金宝博官方本次研讨会通过非正式的演讲、小组合作以及定期的重组和讨论来探讨这些问题。

斯特凡诺Ermon(斯坦福大学)
概率推理和准确性保证- - - - - -视频，幻灯片
摘要:高维概率模型的统计推理是人工智能研究的核心问题之一。迄今为止，只有少数几种不同的方法被开发出来，最显著的是(MCMC)抽样和变分方法。虽然在实践中通常是有效的，但这些技术通常不能保证结果的准确性。在这次演讲中，我将基于理论计算机科学界的观点提出一些替代方法。这些方法可以利用组合优化的最新进展，并提供可证明的准确性保证。

保罗global(加州大学伯克利分校)
培训一个对齐的RL代理- - - - - -视频

吉姆巴巴科克
AGI遏制问题- - - - - -视频，幻灯片
摘要:确保强大的AGI是安全的，需要对它们进行测试和实验，但行为不当的AGI可能试图篡改其测试环境，以获得访问internet或修改测试结果。我将讨论保护用于测试agi的环境所面临的挑战。http://arxiv.org/abs/1604.00545

巴特·塞尔曼说(康奈尔大学)
非人类的智慧- - - - - -视频，幻灯片

杰西卡泰勒(美里)
高级机器学习系统的价值对齐金宝博官方- - - - - -视频
摘要：如果使用与现代机器学习的算法开发人造总体智能，我们如何瞄准所产生的系统以安全地实现世界上有用的目标？金宝博官方我为新的Miri项目提出了一项专注于这个问题的技术议程。

本次研讨会的主题是AI系统的健壮性和容错，以及如何确保当AI系统失败时，它们优雅地失败和可检测。金宝博官方我们想要开发和验证人工智能系统的方法，这样任何错误都可以迅速发现和纠正。金宝博官方本次研讨会通过非正式的演讲、小组合作以及定期的重组和讨论来探讨这些问题。

迪伦Hadfield-Menell(加州大学伯克利分校)
开关:设计可修正的，但功能齐全的人工代理- - - - - -视频，幻灯片
摘要:人为代理为其目标接受或协助外界矫正是可矫正的。至少，一个可修复的代理应该允许它的程序员关闭它。如果一个人工代理能够执行非琐碎的任务，那么它就是功能性的。例如，一台能立即自动关机的机器是无用的(除非是一件新奇的物品)。在一个标准的强化学习主体中，这些行为的动机本质上是不一致的。代理要么希望被关闭，要么希望继续存在，要么两者之间保持中立。在这些选择中，冷漠是唯一安全和有用的选择，但我们有理由相信，这对代理人的激励是一个强有力的条件。在这次演讲中，我将提出一种可修复的，但具有功能性的代理的设计，作为一个双人合作游戏的解决方案，在这个游戏中，机器人的目标是使人类的奖励最大化。我们对博弈的解决方案进行均衡分析，并确定三个关键属性。首先，我们证明，如果人类的行为是理性的，那么机器人将是可矫正的。 Second, we show that if the robot has no uncertainty about human preferences, then the robot will be incorrigible or non-function if the human is even slightly suboptimal. Finally, we analyze the Gaussian setting and characterize the necessary and sufficient conditions, as a function of the robot’s belief about human preferences and the degree of human irrationality, to ensure that the robot will be corrigible and functional.

BAS SteuneBrink.(瑞士AI实验室IDSIA)
关于理解、意义和价值观- - - - - -视频，幻灯片
Abstract: We will discuss ongoing research into value learning: how an agent can gradually learn to understand the world it’s in, learn to understand what we mean for it to do, learn to understand as well as be compelled to adhere to proper values, and learn to do so robustly in the face of inaccurate, inconsistent, and incomplete information as well as underspecified, conflicting, and updatable goals. To fulfill this ambitious vision we have a long road of gradual teaching and testing ahead of us.

Jan Leike.(人类未来研究所)
一般的强化学习- - - - - -视频，幻灯片
摘要:一般强化学习(GRL)是指在非马尔可夫、非遍历、仅部分可观察的未知环境中行为主体的理论。GRL可以作为强人工智能的模型，并被广泛用于研究人工智能安全相关问题。我们关注的不是实用算法，而是根本的潜在问题:我们如何平衡探索和开发?我们如何优化探索?什么时候代理是最优的?概述了该模型目前存在的不足，并指出了今后的研究方向。金宝博娱乐

汤姆埃弗蒂特澳大利亚国立大学()
避免具有价值增强学习的幂汇- - - - - -视频，幻灯片
摘要:如何为任意智能代理设计好的目标?强化学习(RL)似乎是一种自然的方法。不幸的是，RL不适用于一般的智能代理，因为RL代理被激励为了获得最大的报酬而缩短奖励传感器的速度——这就是所谓的连线问题。在本文中，我们提出了一种替代RL的方法，即价值强化学习(VRL)。在VRL中，agent使用奖励信号来学习效用函数。VRL的设置允许我们通过对代理的行为设置一个约束来消除对电线接头的激励。约束是根据代理的信念分布定义的，不需要明确说明哪些动作构成了连线。我们的VRL代理为RL代理提供了控制的方便性，并避免了布线的激励。https://arxiv.org/abs/1605.03143.

扬Altosaar(普林斯顿大学和哥伦比亚)
f-Proximity变分推理
摘要：变分推理是近似后部推理的流行方法。但是，如果参数初始化很差，则该方法可能会遭受病理学和“关闭”模型的部分。我们通过开发通过可以是参数任何功能的约束来制定用于约束模型参数的一般框架来解决这个问题。我们得出了一种可伸缩的变体，可作为变分推理快速运行。在我们的实验中，我们表明我们的方法对初始化不太敏感，并且可以增加具有离散和连续变量的模型的模型的数据后部的分集。在变形式自动化器（使用神经网络以扩展贝叶斯推理的模型）中，我们提高了模型容量的使用，并违反了这一点不会导致更好的性能。

本次研讨会的重点是高能力AI系统的偏好规范。金宝博官方本次研讨会通过非正式的演讲、小组合作以及定期的重组和讨论来探讨这些问题。

迈克尔·威尔曼(密歇根州立大学)
金融市场中的自主代理:含义与风险- - - - - -视频，幻灯片
摘要:设计健壮且有益的人工智能是未来的一个课题，同时也是当今许多领域涌现的自主代理的前沿问题。人工智能已经无处不在的一个领域是金融市场，其中很大一部分交易通常是由算法发起和执行的。模型和观察性研究让我们对AI交易员对市场表现和稳定性的影响有了一些见解。考虑到人工智能的存在，市场环境的设计和监管也可以为更普遍地处理自治代理提供经验教训。

斯特凡诺阿尔布雷特(标准以内)
学会区分信仰和真理- - - - - -视频，幻灯片
摘要:智能智能体通常会建立其他智能体的模型，以便于规划自己的行动。复杂的代理也可能对一组替代模型保持信念。不幸的是，这些方法通常不会在交互过程中检查其模型的有效性。因此，代理可能在没有意识到的情况下学习和使用不正确的模型。在这次演讲中，我将讨论强壮的主体应该具备两种能力:构建其他主体的模型和考虑他们模型的正确性。我将介绍一种行为假设检验的方法以及一些实验结果。会谈将以未决问题和可能的研究议程结束。金宝博娱乐

斯图尔特阿姆斯特朗(牛津大学人文未来研究所)
减少影响AI和其他替代友好- - - - - -视频，幻灯片
摘要:本次演讲将探讨如何在不解决友好性问题的情况下创建安全的人工智能。它将首先关注“减少影响的人工智能”，即设计成对世界影响很小的人工智能，但仍然可以从中提取出高影响。然后，它将深入研究人工智能设计的新理念，即只对自己的虚拟世界有偏好，并研究使用冷漠作为人工智能控制工具的优势和局限性。

安德鲁Critch(美里)
有限代理的强大合作- - - - - -视频
摘要:一对代理之间的第一次互动可能会摧毁对方，这类似于一次囚犯困境。考虑这样一个游戏，每个玩家都是一个可以读取对手源代码的算法。Tennenholtz(2004)引入了一种代理，它可以在对手的源代码与自己相同的情况下进行合作，因此有时可以实现相互合作，但在总体上保持不可利用。然而，程序的精确平等是一个脆弱的合作标准。在这里，我将展示一个新的和更健壮的合作准则，受LaVictoire, Barasz和其他人(2014)的启发，使用一个有界推理的可证明逻辑的新定理。

本研讨会关注的主题是设计在其环境中表现良好的代理，而不忽略代理自己的行为对环境或环境中其他代理的影响。本次研讨会通过非正式的演讲、小组合作以及定期的重组和讨论来探讨这些问题。

晚宴及闭幕酒会