正如前面宣布，我们最近跑了22天健壮有益的人工智能系列研讨会(CSRBAI)，与牛津大学人类未来研究所共同主办。该研讨会旨在将学术界和产业界具有安全意识的人工智能科学家聚集在一起，分享他们最近的工作。这次活动很好地实现了这一目的，开启了一些新的合作，开启了一些研究者之间的新对话，这些研究者以前没有互动过，或者只是远程交谈过。金宝博娱乐
超过50人参加了25个不同的机构，平均有15人出席任何一个给定的演讲或研讨会日。总共有17次会谈和4次会谈周末研讨会关于透明度，鲁棒性和差错，偏好规范和代理模型和多智能剂困境的主题。提供完整的计划和谈话幻灯片事件页面．活动第一天的视频现在可以看了，剩下的内容我们很快就会在网上发布:
斯图亚特·罗素他是加州大学伯克利分校的计算机科学教授，也是《科学》杂志的合著者人工智能:一种现代方法他作了开场白。拉塞尔在《人工智能:到目前为止的故事》(幻灯片）.文摘:
我将讨论AI领域的基本重新定向朝向可剥夺的有益制度。金宝博官方这种需求已经被一些人争议，我会考虑他们的论点。我还将讨论所涉及的技术挑战，以及一些有希望的初始结果。
拉塞尔讨论了他最近的工作协同逆强化学习36分钟。本文与Dylan Hadfield-Menell关于“可校正性”(幻灯片)在CSRBAI引起了许多兴趣和讨论。
艾伦蕨类植物俄勒冈州立大学计算机科学副教授讨论了与亚海总统和OSU卓越的计算机科学汤姆·迪特斯特教授在“识别和解释不确定性”（幻灯片1那幻灯片2）.弗恩和迪特里奇的工作在未来生命研究所描述拨款提案：
AI技术的开发从与确定性，封闭世界的确定性，封闭世界的“已知已知的”-AI规划和问题解决 - 基于这些环境的概率模型，在不确定的环境中使用“已知未知”-Planning和学习。未来AI系统的危急挑战是在开放世界中安全和保守地行事，其中大多数环境的金宝博官方均线不是由AI代理商建模的 - “未知未知”。
我们的团队在机器学习、概率建模和规划方面有着丰富的经验，将开发原则、评估方法和算法，用于在未知的情况下安全学习和行动。对于监督学习，我们将开发uu -保形预测算法，将保形预测扩展到基于鲁棒异常检测算法的不符合分数。这将使有监督的学习者在出现新的类别和输入分布的任意变化时能够安全行为。为了加强学习，我们将开发uu敏感算法，以减少未知未知造成的风险。一个关键原则是，AI系统必须扩大变量的范围，将尽可能多金宝博官方的变量纳入其中，以便检测异常数据点和未知的副作用。
Francesca Rossi.他是意大利帕多瓦大学计算机科学教授、IBM研究科学家、IJCAI主席。他在“道德偏好”(金宝博娱乐幻灯片）.文摘:
在日常生活中，智能系统将金宝博官方越来越普遍。他们会照顾老年人和孩子，他们会为我们开车，他们建议医生如何治愈疾病。但是，如果我们不相信它们，我们就不能让他们做所有非常有用和有益的任务。为了建立信任，我们需要确保他们以道德上可接受的方式行事。因此，了解如何将道德价值嵌入智能机器。
现有的偏好建模和推理框架可以是一个起点，因为它们定义了过度行动的优先级，就像道德理论一样。然而，当我们混合偏好（在决策的核心）和道德中，在个人水平和社会背景下，涉及更多问题。我会讨论一些问题以及一些可能的解决方案。
此次活动中的其他发言人包括汤姆·迪奥特奇（OSU），巴特塞尔曼（康奈尔），保罗基斯蒂安（UC Berkeley）和Miri研究人员Jessica Taylor和Andrew Critch。金宝博娱乐
偏好规范研讨会吸引了CSRBAI最令人兴奋和活动。CSRBAI的其他活动和讨论主题包括：
- 关于复杂性理论在透明度中的潜在应用的讨论:使用交互式多项式协议或证明概率支票证明向人类传达强大的AI系统的复杂信念和原因。金宝博官方
- 一些进展澄清了培训解释系统的不同方法，以便监督。金宝博官方
- 调查由Jan Leike和Tom Everitt of澳大利亚国立大学领导的合作逆钢筋学习和其他未观察奖励游戏的理论。
- 关于与钢筋学习代理有关的危害的讨论，操纵其奖励功能的来源（这是人类或人类的学习代表）。
- 关于修正被视为信息价值问题的有趣讨论。
- 发展人工智能安全环境拉斐尔·科斯曼(Rafael Cosman)和OpenAI强化学习健身中心的其他与会者的演讲中断和半监督学习。来自Chris Olah，Dario Amodei，Paul Christiano和Jessica Taylor的想法和谈话帮助种子这些健身房，以及CSRBai参与者帮助开发他们包括Owain Evans，Sune Jakobsen，Stuart Armstrong，Tom Everitt，Rafael Cosman和David Krueger。
- 使用对抗性陈述者探讨了用于低冲击代理的Opengym环境的思想。
- 杰西卡·泰勒的讨论记忆笛卡尔环境旨在使用参考课程决策将该想法扩展到非笛卡尔世界/逻辑反应性。讨论使用“逻辑上的”经验来了解反事实，并在现实世界探索的情况下进行探索。
- 新的相关形式主义的逻辑反事实问题的新见解。Miri近期逻辑不确定性进展决策理论的应用。
- 很多关于MIRI的提前讨论高级机器学习系统对齐金宝博官方“技术议程。
Colloquium系列相当顺利，我们收到了与会者的积极反馈。与会者指出，该活动可能会受益于更多结构。当我们将来运行这样的事件时，我们的主要调整将是压缩计划，并运行与我们的过去相似的更多集中事件研讨会．
我们还共同经营了16天Miri夏天研究员与应用理性中心合作。该项目的14名参与者来自不同的技术背景，从初创公司创始人到本科生，再到助理教授。
我们的MIRISF项目在过去已经被证明是有用的，以确定未来的MIRI人员(一名全职和两名兼职MIRI研究人员从2015年MIRISF项目)。金宝博娱乐然而，主要的重点是发展新的解决问题的技能和数学直觉对于CS研究人金宝博娱乐员来说，并在Miri的沉浸式碰撞课程活跃的研究项目金宝博娱乐．
该项目分为四个不同的阶段:为期四天的CFAR静修(随后是休息日)，为期两天的MIRI研究日程课程，三天的研究主题合作(类似于MIRI研究研讨会，然后是另一个休息日)，以及三天的杂项活动:金宝博娱乐Tetlock-style预测练习，与Miri研究人员的一对一，金宝博娱乐安全心态讨论，计划未来的研究和合作等。金宝博娱乐
若要接收我们关于MIRISF等未来项目的通知，请使用这种形式．如欲在未来的MIRI研讨会上与我们合作，请通过我们的一般申请表．
