|Rob Bensinger|时事通讯

|Bourgon不全|米里策略

我们在2018年的MIRI主要关注两个方面:研究——一如既往!金宝博娱乐——经济增长。

多亏了令人难以置信的支持我们前一年收到了捐赠者的捐款，在2018年我们能够积极执行我们的计划2017年筹集资金后．我们设定的最重要的目标是“成长壮大，快速成长”，就像我们新的研究方向金宝博娱乐从一个更大的团队中获益更多，并且需要更容易雇佣的技能。为此，我们设定了到2019年底增加10名新研究人员的目标。金宝博娱乐

因此，2018年我们加快了2017年开始的工作，加大了招聘方面的投资，并加强了我们持续增长所需的基础。自从我们2017年的筹款活动以来，我们增加了3名新的研究人员，包括著名的Haskell开发人员金宝博娱乐爱德华Kmett．我现在认为，到2019年底，我们最有可能招聘6-8名员工，尽管在我看来，达到9-10名似乎仍然很有可能，因为我们仍在与许多有前途的候选人接触，并继续遇到更多的人。

总体而言，2018年是MIRI的伟大一年。我们的研金宝博娱乐究继续迅速进行，我们的招聘工作也越来越有成效。
阅读更多»

|Rob Bensinger|时事通讯

|Rob Bensinger|论文

Delegative强化学习＂width=MIRI研金宝博娱乐究助理Vanessa Kosoy写了一篇新论文，授权强化学习:学习通过一点帮助避免陷阱Kosoy将在2019年ICLR上展示这篇论文SafeML车间在两个星期。抽象的写着:

大多数已知的强化学习的遗憾界限要么是偶发性的，要么假设一个没有陷阱的环境。通过允许算法偶尔将一个动作委托给外部顾问，我们在不做任何假设的情况下推导出了一个遗憾界限。因此，我们得出了一个基于模型的主动强化学习的设置，我们称之为DRL(委托强化学习)。

为了证明后悔界限，我们构建的算法是后验采样强化学习的变体，由一子程序补充，该子程序决定应该委托哪些操作。该算法不是随时随地的，因为参数必须根据目标时间折扣进行调整。目前，我们的分析仅限于有限数量假设、状态和行为的马尔可夫决策过程。

Kosoy在DRL上工作的目标是让我们深入了解具有人在循环和正式性能保证的学习系统，包括安全保证。金宝博官方DRL试图将我们推向这个方向，通过提供模型，可以得到这样的性能保证。

尽管这些模型仍然做出了许多不切实际的简化假设，但Kosoy认为DRL已经捕捉到了问题的一些最基本特征，并且她对如何进一步发展这个框架有一个相当雄心勃勃的愿景。

Kosoy之前在帖子中描述了DRL委派强化学习与一个纯粹理智的顾问．本文中描述的DRL Kosoy的一个特性是DRL的应用腐败．在特定的假设下，DRL可以确保一个正式的代理永远不会有其奖励或建议通道被篡改(损坏)。作为一种特殊情况，代理自己的顾问不能导致代理进入损坏状态。类似地，“委托强化学习”中描述的对陷阱的一般保护也可以保护agent免受有害的自我修改。

另一组DRL结果没有在论文中出现利用DRL减灾．在这种变体中，DRL代理可以减轻advisor工具自身无法减轻的灾难——标准DRL中关于advisor工具的更严格假设不支持这种情况。

注册获取MIRI新技术成果的更新

每次有新的技术论文发表时都得到通知。

|Rob Bensinger|时事通讯

|Rob Bensinger|新闻

我很高兴地宣布MIRI获得了两项重大的新拨款:

开放慈善项目格兰特是他们的新有效的利他主义支持委员会：

我们正在试验一种新的方法来设置拨款规模为一些我们最大的受助人有效的利他主义社区，包括那些从事长期事业的人。我们不是让一个项目官员单独提出建议，而是创建了一个小委员会，由“开放慈善”的工作人员和了解相关组织的值得信赖的外部顾问组成。[…]我们将委员会成员的投票数取平均数，以得出拨款的最终数字。

开放慈善项目的拨款是独立于三年的375万美元的赠款他们在2017年授予了我们，第三笔125万美元的支出仍计划在今年晚些时候支付。这项新的赠款将开放慈善项目对MIRI的总支持从140万美元增加策略更新和资金筹集活动职位。

  1. 这140万美元包括开放慈善项目2018年的125万美元和15万美元人工智能安全再培训计划拨款美里。↩

|Rob Bensinger|时事通讯

|Colm O Riain|新闻

CFAR和MIRI将于2019年8月9日至8月24日在旧金山湾区开展第五个年度MIRI暑期奖学金项目(MSFP)。

MSFP是数学家和程序员在AI对齐问题上取得技术进步的一个扩展撤退。它包括对CFAR应用理性内容的概述，在MIRI视角下对人工智能安全的广度优先基础，以及与参与者和MIRI工作人员进行的多日的实际动手研究，以试图在开放性问题上取得进展。金宝博娱乐

阅读更多»