CSRBAI讨论健壮性和容错

||新闻视频

我们上传了最近的第二组视频健壮有益的人工智能系列研讨会(CSRBAI),与人类未来研究所共同主办。这些会谈是本周的一部分,重点是AI系统的健壮性和容错能力,以及如何确保当AI系统失败时,它们会优雅地、可检测地失败。金宝博官方所有发布的视频都可以在CSRBAI网页

巴特·塞尔曼说康奈尔大学计算机科学教授,谈到机器推理和规划(幻灯片).摘录:

我想看看我称之为“非人类智能”的东西。它确实得到的关注较少,但进展也非常有趣,它们是在推理和计划方面。实际上,它在人工智能世界中没有得到多少关注,因为它更多地用于软件验证、程序合成和自动化科学和数学发现——其他与人工智能相关的领域,但不是使用这些推理技术的人工智能的核心部分。特别是软件验证界——微软、英特尔、IBM——非常努力地推动这些推理程序,这就是为什么有这么多进展,我认为在不久的将来,它将开始反馈到人工智能中。

杰西卡·泰勒在MIRI最近发布的第二项技术议程中,高级机器学习系统对齐金宝博官方”。文摘:

如果人工通用智能是用与现代机器学习算法质的相似的算法开发出来的,那么我们该如何瞄准由此产生的系统,以安全地完成世界上有用的目标呢?金宝博官方我提出了一个新的MIRI项目的技术议程,重点是这个问题。

斯特凡诺Ermon,斯坦福大学计算机科学助理教授,就概率推理和准确性保证(幻灯片).文摘:

高维概率模型的统计推理是人工智能研究的核心问题之一。迄今为止,只有少数几种不同的方法被开发出来,最显著的是(MCMC)抽样和变分方法。虽然在实践中通常是有效的,但这些技术通常不能保证结果的准确性。在这次演讲中,我将基于理论计算机科学界的观点提出一些替代方法。这些方法可以利用组合优化的最新进展,并提供可证明的准确性保证。

保罗global他在加州大学伯克利分校做了一个关于训练对齐强化学习主体的演讲。摘录:

这就是强化学习问题的目标。作为AI系统的设计师,我们有一些其他的目标,也许我们没有一金宝博官方个简单的形式化的目标。我会说"我们希望代理做正确的事"我们并不关心代理看到的奖励是什么;我们只关心它做了正确的事。

直观上,我们可以想象有一些未观察到的效用函数U它根据文字记录行事,评估行为者那样行事的后果。所以它需要对宇宙中所有可能出现这个转录本的地方进行平均,然后问"平均来说,当这个媒介遇到这个转录本时,我希望它怎么做? "

吉姆巴布科克讨论了AGI的遏制问题(幻灯片).文摘:

为了确保强大的AGI是安全的,需要对它们进行测试和试验,但行为不当的AGI可能会试图篡改其测试环境,以获得对internet的访问或修改测试结果。我将讨论保护用于测试agi的环境所面临的挑战。

关于整个活动的总结,以及斯图尔特·罗素、艾伦·芬和弗朗西斯卡·罗西的开场演讲视频,请参阅我的最后一篇博文