上个星期，我们收到了有效的利他主义社区的几个问题，以回应我们的筹款岗位。这是Maxwell Fritz：
我对Miri的球场的捕捉反应通常是，“是的，AI是一个真正的关注点。但我不知道Miri是否是合适的人才努力工作，或者他们对这个问题的方法是正确的“[......我]你同意啊事实，为什么Miri？
在这里有两种类似静脉的问题，由Tristan Tager添加：
[...... W]帽子可以莫里吗？为什么我期望Miri Vision和Miri团队将要完成的事情？我究竟可以预期的是什么？[...]
但是，第二个和更大的问题是，Miri会让谷歌不会做什么？谷歌拥有一大笔钱，创意和远见证人员，世界上最好的程序员，以及融合了一系列成功的产品，包括一定程度的AI - 而且他们最近收购了几个AI业务并形成了AI道德委员会。看起来他们直接避开了同样的大问题，而不是理论上，并有深口袋，热心，以及丰富的动手体验。
这些是很棒的问题。我的回答“为什么米里？”，简而言之，Miri有一个辉煌的研究人员专注于金宝博娱乐基本的理论研究金宝博娱乐几乎没有其他人正在追求。我们的重点是在长途运输中完全专注于对齐与人道值的智慧比人类AI系统。金宝博官方
大多数学者尚未在AI对齐问题上工作，而且没有全日制。大多数行业人士都没有致力于这些问题。我知道这一点，因为我正在谈论一些他们的谈话。（该领域很大，但不是那大。）
学术界和行业专业人员尚未在这些问题上致力于这些问题，又会依次依赖其中一些原因。
大多数AI科学家主要关注短期和中期。
This makes sense: the field of AI has been burned more than once in the past by over-promising and under-delivering, and history shows that it’s often easier to do AI work when one keeps an eye on goals that are achievable within the next few years.
许多艾西科学家们有激励措施坚持实际工作，看看短期，只做现实的承诺。(This is evidenced in part by the field’s recent focus on “machine learning,” which has a narrower and more immediate focus than the “old-fashioned” field of AI.) This has paid off, and industry and academia both have made continual incremental breakthroughs that have led to some amazing new technologies. However, it has also made long-term considerations somewhat toxic, and “artificial general intelligence” has been a taboo topic of sorts in recent years. This sentiment is starting to shift, but most academics are still loath to work on foundational problems pertaining to artificial general intelligence, preferring research that improves the capabilities of practical systems today.
我们解决了不同的问题。
在Miri的方法我谈到了两种不同的计算机科学问题。第1级问题涉及讨论如何在实践和合理数量的计算能力，我们知道如何原则上的事情。2级问题涉及弄清楚如何原则上做的事情，我们甚至不能原则。
我们目前的对准研究方法是尝试将2级的问题从第2级移动到1.这种研究已金宝博娱乐经在过去的其他领域成功追求，并且在AI对齐的背景下，我认为它应该显着更多地关注它正在收到。
业界传统上最适合第一个问题课。也是学术界，也经常专注于第一类问题而不是第二级 - 特别是在AI领域，出于与点1.学术界有关的原因，是学术界的一些形式化，如概率理论，然后探索并扩展框架，弄清楚它适用并开发难以应变算法等实际近似。这对学者来说很罕有创造即使原则上尚未解决的问题的理论基础，才会出于目的地寻找新的理论基础。出于上面讨论的原因，大多数学者尚未尝试这种研究，但达到AI对齐。金宝博娱乐
这是Miri带来的表格：激光重点关注相关的技术挑战。
我们没有竞争利益或优先事项。
学术研究往往遵循易金宝博娱乐腐蚀性和好奇心的轮廓，无论他们可能会领导。行业研究往往遵循短金宝博娱乐期和中期利润。不明显的是，这些中的任何一个都将在我们筹集的AI对准问题上零技术议程。1
相比之下，Miri研究人员专注于他们金宝博娱乐可以识别的最重要的AI对齐问题，而不会突破教学课程，追求其他有趣的理论问题，或者更加盈利或可发挥的主题。我们不会转向不同的问题，以赢得赠款;当我们赢得一个三年补助金，我们不会在赠款到期后立即切换到不同的问题。我们将简单地继续研究我们可以找到的最重要的技术问题。
我们的使命是解决AI对准的艰难技术问题，我们目前的方法是在我们的研究议程中拟订的公开问题，没有分心。金宝博娱乐
外带是至少在近期，我们正在寻找的特定问题的解决方案 - 由问题产生“我们仍然无法解决，即使对齐问题更简单？”- 最有可能来自Miri和我们的合作者。
特里斯坦询问：“Miri会做什么谷歌不会？”答案是：基本的理论研究。金宝博娱乐我经常与行业人士相提并论他们正在努力以及我们正在努力的内容。一遍又一遍地，我对我们工作的反应是沿着“啊，是的，那些是非常重要的问题。我们不适用于这些，但它似乎是我们在那里缺少一些有用的工具。如果您发现一些答案，请告诉我们。“
或者，正如经常一样，我们得到的响应是一些版本的“好吧，是的，那个工具会很棒，但是，听起来不可能，”等等，为什么你认为我们真的需要那个工具？“2无论如何，我往往的谈话为所有三个群体结束了相同的方式：“如果你能开发它，那将是一个有用的工具;我们不起作用;如果您发现一些答案，请告诉我们。“
业内人士有兴趣推动现代实践系统越来越普遍的应用。金宝博官方他们专注于等级规划，持续学习和转移学习等问题。当他们在安全研究（并且他们经常做！）时，他们在提高金宝博娱乐深度神经网络的透明度的工具上工作，他们致力于改善校准并降低其系统中的错误率。金宝博官方我们与行业的关系艾西科学家们很好，我们保持彼此的标题。但主要产业团体在AI对准研究中根本没有与Miri竞争;金宝博娱乐他们目前没有做过我们的工作类型。
值得注意的是，Miri研究人员往往是关于AI时机的不可知论者。金宝博娱乐去年，当我们从更智能的人的ai脱离时，问题杜罗杰斯是“为什么你认为你的研究可以重要，所以不可能知道什么是用于机器智能的金宝博娱乐架构是什么不可能的？”今年，当谷歌显然将使用人工神经网络发展智慧 - 人类AI时，今年的问题是“为什么你认为你的研究会很重要？”金宝博娱乐
两种情况下，我的答案在两种情况下都保持了类似：我们正在开发基本的概念工具，类似于概率理论，这可能会改善各种不同架构的AGI系统的透明度，可验证，稳定性和整体安全性。金宝博官方我的时间表今天与去年同期大致相同：我不希望在未来十年内看到聪明而不是人类的AI系统，我希望看到他们本世纪。金宝博官方当智能比人类的AI系统开发时，或者如何，或者谁，它对我来说并不明显。金宝博官方
十年是一个很多在工业中的时间，一个世纪是永恒的。今天的行业领导人可能看起来非常强大，有些群体可能会在别人身上发展强烈的领导。然而，我在任何一组中都没有足够的自信，把所有的筹码都取得了成功。
Miri正在为创建工具进行基础研究，这些工具将帮助所有金宝博娱乐行业组设计更安全的系统。金宝博官方我们的目标是使得从头开始设计强大和有益的通用理发师，我认为这对由公正的第三方开发的工具有价值，这些工具是对公众而不是股东的答案。
过度智能可能不仅仅是拐角处。在临时，我们正在研究不同的问题，而不是行业和学术界的现有群体;大多数团队没有专注于长期AI对准问题的基础理论研究。金宝博娱乐
miri是。我们努力的公开问题是不足的，我们的位置很好地越来越越来越重要地展示了前方的最关键的技术障碍。我们的希望是，许多辉煌和熟练的组织也将承担这些技术挑战，我们对这些主题的工作将有助于研究区域更快地增长。金宝博娱乐我会非常欣赏这个空间的更多竞争。直到那时，如果你希望那里至少有一组任务正在解决“2级“技术研究，Miri是为金宝博娱乐基金的团队提供资金。
你喜欢这篇文章吗？你可以享受我们的其他分析帖子，包括：
