需要扩大MIRI的方法

||分析

Andrew Critch是MIRI研究团队的新成员之一,他抓住了MIRI的机会金宝博娱乐冬天募款活动写在他的个人博客为什么他认为MIRI的工作很重要。一些摘录:

因为一个团队CFAR校友联合起来成立了生命未来学院(FLI),组织了一次人工智能安全会议于今年1月在波多黎各共同撰写了FLI研金宝博娱乐究优先计划去年,大量资金被冠以“人工智能安全”的标签。尼克·博斯特罗姆的超智也是这个惊人成功故事的主要因素。

在这些资助下,许多出色的工作正在进行,包括许多解决人工智能安全已知问题的建议,这让我感到非常振奋。然而,我担心的是,如果MIRI的规模至少不能跟上所有这些资金的步伐,它就不会像MIRI提供帮助时那样投入。

我们必须记住这一点人工智能安全不是通过自发的集体觉醒而成为主流的.这是经过多年的努力在MIRI和合作者FHI我们还在努力识别关于人工智能可能如何让我们感到惊讶的未知未知,并进一步努力学习解释这些想法的足够技术细节,以便它们可能被主流研究采用,这终于开始发生了。金宝博娱乐

那我们错的部分呢?那些我们还没有确定的、可能最终被主流忽视的子问题呢?就像5年前整个问题被忽视一样。我很高兴AI/ML社区现在意识到了这些问题,但我想确保MIRI能够发展得足够快,使这个不断增长的领域保持在正轨上。

现在,你可能会认为,既然其他人都“在这个问题上”,问题就会迎刃而解。也许是这样。

但只是因为一些MIRI结论现在被广泛采用不就意味着它被广泛采用了吗方法是多少。精神运动

“有人给我指出了这个安全问题,让我来解决吧!”

非常不同于

“有人给我指出了这个安全方案,让我看看它是怎么坏的!”

而这第二种心理运动是允许MIRI首先注意到人工智能安全问题的一种。网络安全专家布鲁斯·施奈尔(Bruce Schneier)称,网络安全专家似乎很容易就能做到这一点安全的心态.SANS研究所这样称呼它红色的合作.不管你叫它什么,AI/ML的人仍然更多地处于创造模式而不是中断模式,而且在我看来,还没有发现任何新的安全问题。

我确实认为不同的组织应该尝试不同的方法来解决人工智能安全问题,而不是完全复制MIRI的方法方法金宝博娱乐研究议程.但我认为打破模式/安全心态确实需要成为所有人工智能安全方法的一部分。如果MIRI的规模不能跟上所有这些新的资金,我担心世界将复制粘贴MIRI的2014年最佳印象,什么是在人工智能安全的重要,而抛弃自我批评的方法生成的首先,这些想法是一个严重的陷阱,考虑到所有未知的未知。

看到我们的资金驱动后帮助贡献或了解更多有关我们的计划。有关人工智能风险和安全心态的更多信息,请参见Luke Muehlhauser的文章就这个话题发表文章

你喜欢这个帖子吗?你可以享受我们的另一个分析的帖子,包括: