Miri May Newsletter:智力爆炸微观经济学和其他出版物

||时事通讯

执行主任的问候

亲爱的朋友们,

这是一个忙碌的月!

大多数时候,我们都很忙出版的事情。如下所示,奇点的假设现已出版,由MIRI研究人员或研究助理撰写,共四章。金宝博娱乐我们还发表了两篇新的技术报告——一篇关于决策理论,另一篇关于智能爆炸微观经济学——以及几篇分析与人工智能未来有关的各种问题的新博客文章。最后,我们添加了四个旧的文章到研究页面,包金宝博娱乐括理想顾问理论与个人CEV(2012).

在我们的4月通讯我们谈到了4月11日在旧金山举行的派对,庆祝我们重新成立机器智能研究所,以及我们向数学研究的过渡。金宝博娱乐该事件的其他照片现在可以作为Facebook相册.我们还上传了一段活动视频,在视频中,我花了2分钟解释MIRI的重新推出和四月研讨会的一些初步结果。之后是访问研究员金宝博娱乐Qiaochu元花4分钟解释MIRI的一个核心研究问题:Löbian自我修改系统的障碍。金宝博娱乐金宝博官方

我们4月讲习班的一些研究金宝博娱乐将于6月份发布,因此如果您想立即阅读这些结果,您可能会喜欢188bet娱乐城 188bet娱乐城

干杯!

路加福音Muehlhauser

执行董事

智能爆炸微观经济学

本月我们最大的新出版物是Yudkowsky的91页智能爆炸微观经济学(讨论在这里).在这篇文章中,Yudkowsky需要一些初始步骤解决关键情报爆炸的定量问题,“认知投资再投资回报率”:你能获得什么样的回报的投资的认知,你能投资甚至让自己更聪明,这个过程消亡或炸毁吗?这篇文章可以被认为是《宪法》的一个紧凑的、有希望更连贯的继承者AI Foom辩论2009年,以Yudkowsky和Gmu经济学家为特色罗宾·汉森

以下是摘要:

I. J. Good关于“智能爆炸”的论点是,一个足够先进的机器智能可以制造自己的更智能版本,反过来,机器智能也可以制造自己的更智能版本,这个过程可以持续到远远超过人类智能的程度。桑德伯格(Sandberg, 2010)正确地指出,有几次尝试制定投资回报公式,以代表经济或技术增长的急剧加速,但很少有尝试正式处理i.j.古德的智力爆炸论点。

我认为关键问题是认知再投资的回报——投入更多计算能力、更快的计算机或改进的认知算法来产生认知劳动的能力,从而产生更大的大脑、更快的大脑或更好的思维设计。世界上有许多现象被认为与这个问题明显相关,从观察到的原始人类进化过程,到摩尔定律,到机器下棋系统的能力,等等。金宝博官方我深入讨论了如何解释这些证据引发的争论。我建议,在分析情报爆炸的立场时,下一步应该是将投资回报曲线正式化,这样每一个立场都可以正式地说明它们所持有的可能的微观基础伪造通过历史观察。更一般地说,我提出了多个关于“认知再投资回报”或“智力爆炸微观经济学”的开放式问题。尽管到目前为止,这些问题还没有得到多少关注,但它们似乎与影响地球起源智慧生命结果的政策选择高度相关。

专门的邮件列表将很小,并且仅限于技术讨论者:申请它在这里

AI何时被创造?

在某种程度上,智能爆炸微观经济学试图回答这样一个问题:“人类级别的人工智能自我提升到超级智能的速度有多快?”人工智能预测的另一个主要问题当然是:“我们何时才能创造出人类水平的人工智能?”

这是另一个困难的问题,卢克·穆罕普瑟在最近(并且非常详细)的博客文章中调查了这些困难:AI何时被创造?他的结论是:

鉴于这些考虑因素,我认为“何时创建ale时,”何时会创造出来的问题?“是这样的:

“我们无法自信地在未来30年里进入,我们无法自信它需要超过100年,并且任何人都有信心的人假装太多了。”

有多自信才算“自信”?比方说70%。也就是说,我认为70%的信心认为人工智能不到30年是不合理的,我认为70%的信心认为人工智能超过100年也是不合理的。

该声明承认我无法预测AI,但它也会将我的概率分布限制在“AI创造年份”相当多。

我认为上述考虑证明了我的概率分布上的这些约束,但我还没有详细说明我的推理。这就需要更多的分析,我无法在此陈述。但我希望我至少总结了这个主题的基本考虑,那些与我有不同概率分布的人现在可以在我这里的工作基础上尝试证明他们。

Muehlhauser还解释了四种方法来减少我们对AI时间表的不确定性:显式量化利用聚合路标未来,分解现象

事实证明,你可以参加在提高我们的AI预测的前两种方法中注册GMU的DAGGRE课程.Muehlhauser自己已经报名起来了。

Muehlhauser还写了一个400字的件,符合AI预测的难度石英杂志:机器人将采取我们的工作,但很难说什么时候.这是一个选择Quote:

We’ve had the computing power of a honeybee’s brain for quite a while now, but that doesn’t mean we know how to build tiny robots that fend for themselves outside the lab, find their own sources of energy, and communicate with others to build their homes in the wild.

奇点假设发表了

奇点假说:一个科学和哲学的评价现已由施普林格出版,有精装版和电子书版。

这本书包含了20章关于机器超智能的前景,其中4章由MIRI研究人员和研究助理撰写:金宝博娱乐

有关更多详细信息,请参阅博客文章

永恒决策理论论文发表

Alex Altair在他作为Miri研究金宝博娱乐员的时间内写了一篇文章永恒的决策理论(TDT)已经发表:类newcomb问题决策算法的比较.”

Altair的文章在TDT的表述上比Yudkowsky的早期论文更简洁也更精确永恒的决策理论因此,Altair的论文应该作为哲学家、计算机科学家和数学家对TDT的一个方便的介绍,而Yudkowsky的论文仍然是任何对进一步开发TDT感兴趣的人的必读书目,因为它比Altair的论文涵盖了更多的领域。

为了温和地介绍整个规范决策理论(包括TDT),见Muehlauser和Williamson的决策理论常见问题解答

AGI影响专家和友好的AI专家

AGI影响专家和友好的AI专家,卢克·穆罕普瑟解释了这两种专家Miri希望培养。

AGI影响专家开发与预测技术发展相关的技能(例如建筑)计算模型人工智能的发展或推理智力爆炸微观经济学),预测AGI对社会可能产生的影响,并确定哪些干预措施最有可能增加人类在AGI诞生过程中安全航行的机会。概述,请参阅Bostrom & Yudkowsky (2013)Muehlhauser&Salamon(2013)

友好的人工智能专家开发对数学体系结构开发有用的技能,可以使agi成为值得信赖的(或“人类友好”)。这项工作是在米里研究研金宝博娱乐讨会在各种出版物中,例如。Christiano等人(2013)希巴德(2013).注意,术语“友好AI”被选中(部分),以避免我们理解主题的建议很好,一个短语“道德AI”听起来可能像的人可以学到很多关于通过百科全书,但是我们目前的理解值得信赖的AI太贫穷。

有关这些专家应该发展的更多细节,阅读博客帖子

《五纲两条引理中的使命》

Yudkowsky在博客中总结了MIRI的研究任务金宝博娱乐五个论点,两个引理,还有几个战略意义.五个论文是:

  • 智能爆炸
  • 智力和目标的正交性
  • 收敛的工具性目标
  • 价值的复杂性
  • 价值的脆弱性

根据Yudkowsky的说法,这些论文意味着两个重要的lemmas:

  • 间接的规范性
  • 巨大的额外困难的友好

反过来,这两个引理有两个重要的战略含义:

  1. 我们还有很多工作要做,比如间接规范和稳定的自我完善。在这个阶段,很多工作看起来都很基础——也就是说,我们无法描述如何使用无限的计算能力来做这些事情,更不用说有限的计算能力了。我们应该尽早开始这项工作,因为基础研究常常花费大量的时间。金宝博娱乐
  2. There needs to be a Friendly AI project that has some sort of boost over competing projects which don’t live up to a (very) high standard of Friendly AI work — a project which can successfully build a stable-goal-system self-improving AI, before a less-well-funded project hacks together a much sloppier self-improving AI. Giant supercomputers may be less important to this than being able to bring together the smartest researchers… but the required advantage cannot be left up to chance. Leaving things to default means that projects less careful about self-modification would have an advantage greater than casual altruism is likely to overcome.

有关论文和lemmas的更多详细信息,阅读博客帖子及其联系的文章。

我们的最终发明可用于预订

詹姆斯巴拉特他为《国家地理》、《探索》、《公共广播公司》和其他广播公司制作纪录片。他写了一本关于情报爆炸的精彩新书,书名为我们最后的发明:人工智能和人类时代的终结.它将于10月1日发行可在亚马逊上预订

以下是一些读过预告片的人的介绍:

“一个关于本世纪最重要话题的艰难书,可能超越 - 我们的物种是否能生存的问题。我希望这是科幻小说,但我知道这不是。“

-Jaan Tallinn,Skype的联合创始人

“人类最关键挑战的令人信服的故事。21世纪的一个沉默的春天。“

-Michael Vassar,前Miri总统

我们最后的发明是一部惊险的侦探小说,也是关于21世纪最重要问题的最好的书。”

-Luke Muehlauser,Miri执行董事

“一个重要而令人不安的书。”

——休·普莱斯(huw Price),剑桥大学存在风险研究中心联合创始人

Miri需要顾问

Miri目前在广泛的科目上有几十个志愿者顾问,但我们需要更多!我们特别希望有数学逻辑,理论计算机科学,人工智能,经济学和博弈论中的其他顾问。

如果你报名,我们偶尔会向您询问您的问题,或向您发送即将推出的反馈的早期草稿。

我们并不总是需要技术建议(“好吧,你可以用一个相对化的算术层次来做……”);通常,我们只是想知道不同的专家对我们的文章有什么不同的反应(“这段话的语气让我不爽,因为……”)。

即使你没有很多时间帮忙,请注册!我们当然会尊重你自己的可用性限制。

志愿者-弗洛里安·布卢姆

Florian Bumm一直是我们最活跃的翻译人员之一。Florian将材料从英语翻译成他的母语,德语。从历史上看一位软件工程师,他现在正在透视玻利维亚的旅行假期,通过远程合同劳动力延伸,他发现他已经有利于他为Miri志愿服务。留下作为金融服务公司Java工程师的职位后,他决定直接向某种事业做出贡献,并确定没有比人工智能的缓解存在的风险更重要了。

谢谢,御马!

要加入弗洛里安和其他数十名志愿者,请访问MIRIvolunteers.org