Miri Grad学生研讨会
秋季2016年
时间：星期四5：30-7：00pm
地点：2030年伯克利7楼Addison Street在Miri办公室，伯克利巴特市中心附近
观众：数学/统计/ CS /逻辑毕业生和上面或同等学历
食物：提供免费晚餐。
该研讨会将涵盖两个单独的主题，代理基础（AF）和先进机器学习代理（AAML）对齐， 如下面所描述的。它位于MIRI的UC Berkeley校园的边缘，这是一个独立的数学/188bet娱乐城 CS研究所，调查有关智能代理的性质以及如何与人类利益对齐的问题。金宝博娱乐
Miri目前聘请了六位研究员，其中包括三个数学后作弊，金宝博娱乐我们的希望是，这次研讨会将帮助我们伪造新的合作，并确定潜在的未来雇用随着我们的研究所的增长。
| 日期 | 主题 | 标题 | 扬声器 | 抽象的 |
| 9月15日 | AF. | 逻辑诱导：使用BROROWER的定期定理为未经证实的逻辑陈述分配概率 视频那幻灯片1那幻灯片2 |
安德鲁克克里奇 米里 |
是否有一些原则性的方法可以将猜测分配给PA或ZFC在经过验证或ZFC之前分配猜测？我们介绍了一种新的算法，满足我们呼叫的标准Garrabrant诱导这有许多漂亮的渐近后果。特别是，该算法学会“信任自己”，因为它为自己的预测分配了很高的概率（因为ZFC和Pa可以谈论算法，它可以指代自己的预测（它可以指代自己）。它还为可提供的陈述分配高概率比可以为它们找到的证据快得多，只要语句易于写入即可。更一般地，该算法被开发为用于在计算资源受限时定义“良好推理”的候选模型。此谈话将概述算法，GARRABRANT归纳标准及其当前已知的含义。在随后的几周内，我将在几个谈判的过程中更彻底的阐述。 |
| 9月22日 | - | 没有谈话 | - | - |
| 9月29日 | AF. | 使用BROROWER分配数学索赔的概率 - 迷你研讨会 | Tsvi Benson-tilsen UC Berkeley. |
After a 15 minute intro to Garrabrant induction (including an algorithm that uses Brouwer’s fixed point theorem to assign probabilities to theorems before they’re proven), we’ll split into smaller working groups lead by the paper authors, based on interest in: the algorithm construction, proofs of its various properties, open problems, applications to other areas like game theory / decision theory, or other topics that folks want to think more about in smaller groups. |
| 10月6日 | aamls. | 激励和中断 | 帕特里克·瓦特奥尔 米里 |
当AI开始以不需要的方式行动时，我们将希望安全地关闭并纠正问题。对于大多数奖励功能，有一个明显的激励措施来避免被关闭和修改：如果原始代理持续的原始代理优化不同的奖励函数，则将更好地优化原始奖励功能。我们将讨论若干提案，以避免这种激励，包括奥尔斯法尔和阿姆斯特朗安全中断的代理商。 |
| 10月13日 | - | 没有谈话 | - | - |
| 10月20日 | aamls. | 使用“轻度”优化策略来避免古老的法律 | 杰西卡泰勒 米里 |
当措施成为目标时，它不再是一个很好的措施。在人工智能的情况下，一个客观函数通常是运营商价值（例如在计算机游戏中获得高分）的良好衡量标准，通常在积极优化时经常停止是如此的好的措施（例如在计算机游戏中利用错误的情况）。我们如何设计避免此问题的优化方法？ |
代理基础（AF）主题
有关这些主题的更详细概述，请参阅“用于将机器智能与人类兴趣对准的代理基础：技术研究议程”金宝博娱乐。
- 逻辑不确定性：如何根据我们的计算有限的探索到目前为止，算法如何连贯地分配给数学陈述φ的数学陈述φ的数学陈述φ？对此问题的令人满意的解决方案可能会遵循最近的一些进展。
- 算法合作：最近关于算法合作的工作，其源代码彼此透明地发现了使用奖学措施的第二个不完整性定理的新的和计算有限的变体的合作定点/均衡。实现这些合作均衡的算法推理仍然是一个公开的问题，以彼此对非布尔的不确定性的算法推理。
- 逻辑反应性：When an algorithm A makes a “decision” A(x)=y, in the process it might examine outputting “alternatives” A(x) = y’ ≠ y, which is in fact a mathematical impossibility since A(x) is deterministic given its input. Can we define a systematic way for optimization algorithms to reason in generality about such counterfactuals that is useful and does does not lead immediately to trivial contradictions?
- 归化诱导：算法a如何代表自己的模型和作为计算W（）的世界，并且被视为关于和优化更大程序的原因W？
高级机器学习系统（AAML）主题对齐金宝博官方
有关这些主题的更详细概述，请参阅“新纸：高级机器学习系统对齐”金宝博官方。
- 归纳歧义识别：我们如何培训ML系统来检测和通知我们测试数金宝博官方据的分类从训练数据中的高度确定的情况？
- 强大的人体模仿：我们如何设计和培训ML系统，以有效地模仿从事复杂和困难的任务的人金宝博官方？
- 知情监督：我们如何培养强化学习系统，以采取援助智能监督，例如人类的行动，以准确评估系统的表现？金宝博官方
- 概括的环境目标：我们如何创建强大地追求环境中定义的目标金宝博官方的系统，而不是直接在其感官数据方面定义？
- 保守概念：如何培训分类器，以开发排除高度非典型示例和边缘案例的有用概念？
- 影响措施：什么样的常规方向激活了一个系统，以追求最小的副作用？金宝博官方
- 温和优化：我们如何设计追求目标的系统“而不尝试太金宝博官方努力” - 当目标相当艰难地实现时，而不是为了实现绝对的最佳预期评分的方法，而不是消耗进一步的资源？
- 避免工具激励措施：我们如何设计和培训系统，以便他们强大地缺乏默认的动力来操纵金宝博官方和欺骗他们的运营商，争夺稀缺资源等？
