关于Miri.


机器智能研究所是一项研究非营利组织,研究了智能行为金宝博娱乐的数学基础。我们的使命是为通用AI系统的清洁设计和分析开发正式的工具,意图使这些系统更安全,更可靠。金宝博官方

AI领域的宗旨是为了超越进步。在20世纪70年代后期和20世纪80年代的“AI冬季”中,研究人员对雄心勃勃的承诺造成善意的失败导金宝博娱乐致AI的资金和利益崩溃。虽然该领域正在进行复兴,但过度自信仍然是一个重大恐惧;讨论人类等同的一般情报的可能性仍然在基本上被降级到科幻架。

与此同时,研究人员在很大程度上同意A金宝博娱乐I可能会在大多数认知任务中开始表现出人在本世纪。鉴于如何稳定性的域名,我们认为现在开始对话是谨慎的,并调查我们是否可以预测和塑造这项技术的社会影响的有限区域。

金宝博娱乐Miri的研究人员往往相对不可知论者关于如何在未来几十年中改变AI的最新状态,以及比人类AI系统更聪明的少年。金宝博官方但是,我们认为有些定性预测是可能的:


    - 作为感知,推理和规划算法改进,AI系统将受到越来越复杂和长期决策的信任。金宝博官方小错误将具有更大的后果。
    - 对于一般推理系统的现实目标和环境对于程序员来说是太复杂的,即可直接指定。金宝博官方AI系金宝博官方统将需要感应地学习正确的目标和环境模型。
    - 金宝博官方最终与其环境模型不佳的系统可以做出重大危害。但是,差的模型限制了规划系统如何控制其环境,这限制了预期的伤害。金宝博官方
    - 对指定目标不佳的系统造成危害的危害较少。金宝博官方特别是一个学习的自主系统金宝博官方关于人体目标,但没有正确旨在使自己的目标与其最佳人体目标的目标保持一致,可能导致灾难性的危害在没有足够的检查中。
    - AI金宝博官方系统的目标或世界型号可能是脆弱的,表现出异常良好的行为,直到一些看似无关的环境变化发生变化。这对不正确的目标来说,这再次越来越重要,因为对于错误的信仰和推论,因为不正确的目标不会限制否则的高智能系统的能力。金宝博官方

斯图尔特罗素,一名Miri研究顾问和共同作者金宝博娱乐人工智能领域的教科书,争论“人工智能的长期未来“我们应该将稳健性和安全问题集成到主流能力研究中:金宝博娱乐


我们作为一个领域的目标是做出更好的决策系统。金宝博官方这就是问题。[......如果]你要​​建造一个超级菜机,你必须给它你想要的东西。The danger is that you give it something that isn’t actually what you really want — because you’re not very good at expressing what you really want, or even knowing what you really want — until it’s too late and you see that you don’t like it.

如果您在优化问题方面考虑它:机器正在为您解决优化问题,并且留出您实际关心的一些变量。Well, it’s in the nature of optimization problems that if the system gets to manipulate some variables that don’t form part of the objective function — so it’s free to play with those as much as it wants — often, in order to optimize the ones that it is supposed to optimize, it will set the other ones to extreme values.

我的提议是,我们应该在简单的定义中停止做到才能提高系统的决策能力。金宝博官方与土木工程有关,我们不称之为“建筑物桥不倒下” - 我们只是称之为“建筑桥梁”。当然,我们不希望他们跌倒。我们应该以同样的方式思考AI:当然应该设计AI系统,以便他们的行为与人类的行为一致。金宝博官方但这是一个难以解决的未解决问题,这不是现在的研究议程。金宝博娱乐

我们希望改变该领域,以便感受到土木工程或核融合等。[...我们]创造了氢炸弹爆炸 - 无限量的能量,比我们可能使用的更多。但这并不是一种社会有益的形式。现在它只是什么融合研究人员 - 遏制是什么融合研究金宝博娱乐。这就是他们努力的问题。


根据Russell的谈话,Miri的作品旨在帮助跳跃启动AI研究的范式,这是意识到该领域的长期影响。金宝博娱乐我们的方法是将对准问题分解为更简单,更精确的子问题,开发基本的数学理论以了解这些问题,然后利用我们的新发现了解工程应用程序。




学习资源



AI目标对齐问题的两个最好的非技术介绍是Stuart Armstrong的短暂和热闹比我们聪明和尼克博斯特罗姆更深入的专着超明



Smarterthanuscover.

比我们聪明


“人类不会引导未来,因为我们是最强烈的或最快的,而是因为我们是最聪明的。当机器比人类变得更聪明,我们将把它们递给方向盘。这些承诺和危险会将这些强大的机器存在?“


superintelligence_cover.

超明

“智能搜索有乐意上的最佳计划和策略可以在任何目标的服务中进行。智力和动机是一个义目正交的:我们可以将它们视为跨越图形的两个轴,其中每个点代表逻辑上可能的人工剂。“

“他正交的论文表明我们不能简单地认为,过度理智必然会分享与人类的智慧和智力发展有关的任何最终价值观。


有关Miri的研究重点的更多技术细节,请参阅:金宝博娱乐


最后,有关一般信息: