AlphaGo Zero和Foom辩论

||分析

alphano零它使用4个tpu,完全由神经网络构建,没有任何手工功能,无需预先训练与专家游戏或任何人类游戏对抗,在3天的自玩后达到超人水平,是目前最强的AlphaGo版本。

体系结构已经简化。之前的AlphaGo有一个预测好棋局的政策网络和一个评估位置的价值网络,两者都使用MCTS(随机概率加权的棋局到比赛结束)进行预测。AlphaGo Zero有一个神经网络来选择走法,这个神经网络是保罗-克里斯蒂安式训练的能力放大,播放游戏,以学习赢得胜利的新概率。

正如其他人也说过的,在我看来,这似乎是支持尤多科夫斯基观点而不是我和罗宾·汉森观点的证据AI-FOM辩论

据我所知,

  • 汉森认为,与积累的领域知识或由专业公司构建的特殊用途组件等元素相比,他所称的“架构”并不重要,他认为这是为人工智能经济服务的公司生态。
  • 当我谈到在我看来,人类在结构上的改进比黑猩猩重要得多时,汉森回答说,在他看来,这似乎是允许知识的文化积累的一次性收获。

我要强调的是,人类所有强大的围棋知识体系、技术和战术是如何在几个世纪的游戏中发展起来的,专家们从小就开始教孩子们下棋,但随着AlphaGo Zero的表现不断提高,这些知识完全被抛弃了。这些人类知识的宏伟大厦,正如我对汉桑论题的理解,理应如此距离多个领域的AI功能迅速增长一次。我说,“人类智慧是废话,我们积累的技能是废话,”这似乎被承认了。

同样,像DeepMind这样的单一研金宝博娱乐究实验室不应该远远领先于整体生态,因为让人工智能适应任何特定领域,应该需要由一个让其他公司可以使用这些组件的市场生态在各地开发大量组件。AlphaGo Zero要简单得多。在某种程度上,没有其他人能够用完并构建AlphaGo Zero,这要么是因为谷歌拥有通常不可用的张量处理单位(Tensor Processing Units),要么是因为DeepMind拥有能够真正利用ResNets等现有想法的专业知识,或者两者兼而有之。

在这里还应该强调能力增长的绝对速度。在Yudkowsky-Hanson的辩论中,我关于FOOM的大部分论点都是关于自我完善,以及当一个优化循环被折叠起来时会发生什么。尽管在我看来这并不是必要的,但是在过去的两年时间里,围棋游戏从“没有人能够打败职业棋手”变成了“超级超人,他们不会再为之烦恼”,这只是因为当你改进和简化架构时就会发生这种情况你甚至不需要自我改善来得到看起来像FOOM的东西。

是的,围棋是一个封闭的系统,允许玩家自我金宝博官方游戏。人类花了几个世纪才学会如何玩这个游戏。也许,阻碍快速提高能力的新汉桑式壁垒可能是,环境中有很多经验的部分,这些部分被认为是很难学习的,即使在AI思想的极限上足够快,可以在3天内吹过去几个世纪的人类学习;经过几个世纪的文化积累,人类已经学会了这些重要的知识,尽管我们知道,当人类拥有所需的所有经验信息时,人工智能学习3天需要几个世纪的时间;并且,AIS无法使用“架构”非常快速地吸收这些知识,即使人类使用架构彼此学习.如果是这样,那么让我们写下这个新的世界毁灭假设(也就是说,如果这个假设是错误的,世界就会毁灭),并寻找进一步的证据来证明这个假设可能是错误的。

AlphaGo显然不是一般的人工智能。很明显,人类做的一些事情让我们比AlphaGo更通用,而AlphaGo显然不这么做。然而,如果即使使用了人类的特殊酱汁,我们也希望AGI能力是缓慢的、特定于领域的,并且需要来自一个巨大的市场生态的反馈,那么我们看到的没有人类等价的一般性特殊酱汁的情况不应该是这样的。

换句话说,在我的辩论中,我非常强调递归的自我完善,以及从灵长类智力到人类智力的普遍变化的显著飞跃。这并不意味着我们无法获得关于能力增长速度的信息没有自我提升。这并不意味着我们无法获得关于算法的重要性和普遍性的信息没有一般的智力技巧。在我们谈到我所看到的好的部分之前,关于快速能力提高的争论就已经开始了;我不会预测AlphaGo的能力增长速度而赔钱,因为在Yudkowsky-Hanson频谱上,现实比我所做的更加极端。

罗宾·汉森的回复。

2017年10月通讯

||时事通讯

“到目前为止我所目前的估计,现在我们已经AlphaGo和其他几个可能/也许不是在船头,和看到一个巨大的爆炸的努力投入到机器学习和一个巨大的洪水的论文,我们可能会占据我们目前的认知状态,直到非常接近尾声。

“[......我]很难猜测AGI需要多少进一步的见解,或者需要多长时间才能达到这些见解。在下一次突破之后,我们仍然不知道需要更多的突破,以前留下了相同的认识状态。[...]尽管如此,你可以行动,或者不是行动。直到为时已晚而无法帮助,在最好的案例中是为时已晚的;直到它基本上在平均案件之前并不是行事。“

详见Eliezer Yudkowsky的一篇新博客文章:没有用于人工综合情报的火警”(讨论LessWrong 2.0黑客新闻.)

金宝博娱乐研究更新

一般更新

新闻和链接

没有用于人工综合情报的火警

||分析


火灾报警器的功能是什么?

有人可能会认为火灾警报的功能是为你提供火灾存在的重要证据,让你相应地改变你的政策,并退出建筑。

在1968年的拉丁和达利的经典实验中,八组三名学生每个人都被要求在开始填充烟雾后不久的房间填写调查问卷。八组中的五个没有反应或报告烟雾,即使它变得足够密集,可以让它们开始咳嗽。随后的操纵表明,孤独的学生将回复75%的时间;虽然由两名演员陪同的学生被告知假装的冷漠将只回复10%的时间。这个和其他实验似乎将发生的事情放在下面是多元的无知。We don’t want to look panicky by being afraid of what isn’t an emergency, so we try to look calm while glancing out of the corners of our eyes to see how others are reacting, but of course they are also trying to look calm.

(我读了很多关于这项研究的重复和变化,结果很明显。金宝博娱乐我不认为这是复制危机导致的结果之一,我还没有听说过涉及它的复制危机。但我们现在必须在每件事上都加上一个“也许不是”的标记。)

火灾警报创造了常识,在你知道我知道的意义上,有火灾;在那之后,社会就安全了。当火警响起时,你就知道其他人都知道发生了火灾,你也知道如果你继续从大楼里出去你不会丢脸。

火警并不能确定地告诉我们那里有火。事实上,在我的一生中,我不记得有一次,在火警警报响起时,从一栋大楼出来,真的发生了火灾。真的,火警是较弱的比起门下冒出的烟,有火的证据。

但是火灾警报告诉我们对火灾做出反应是正常的。它向我们保证,如果我们现在以有序的方式退出,我们不会感到尴尬。

在我看来,这是人们误认为他们对他们所信仰的信仰的情况之一,就像当有人大声地认识到他们的城市的团队赢得大型比赛时会尽快退回。他们没有有意识地尊重大喊大叫团队将获胜的奖励令人兴奋,从预期球队将获胜。

当人们看到从门缝里冒出来的烟时,我想他们会认为自己的不确定感来自于没有认定火灾发生的可能性足够高,他们不愿采取行动,害怕浪费精力和时间。如果是这样,我认为他们是在错误地解读自己的感受。如果是这样的话,他们听到火警时就会有同样的不稳定的感觉,甚至更严重,因为火警与火灾的关联要小于门下冒出的烟雾。这种不确定的摇摆感来自于担心别人的看法不同,而不是担心火灾没有发生。不愿行动是不愿被人看到愚蠢,而不是不愿浪费努力。这就是为什么在75%的时间里,学生一个人在房间里就能对火灾做出反应,这也是为什么人们对火灾警报给出的弱得多的证据做出反应没有问题的原因。


现在就提出了我们应该开始在以后对人工综合情报的问题作出反应(这里的背景),因为据说,我们是遥远的,这是今天不可能对此进行富有成效的工作。

(关于今天是否存在可行的直接争论,请参阅:苏亚雷斯和法伦斯坦(2014/2017);Amodei, Olah, Steinhardt, Christiano, Schulman和Mané (2016);或泰勒,yudkowsky,lavictoire和chitch(2016))。

(如果这些论文存在或者如果你是一个人工智能研究员会读但认为他们都是垃圾,和你希望你可以对齐工作但不知道有什么金宝博娱乐可以做的,聪明的下一步将是坐下来,花两个小时的时钟真诚想可能的方法。最好不要自我破坏,这样你就不会想出任何有道理的东西;假设一下,如果你认为今天没有什么事情是你应该做的,那么你就可以去做自己更感兴趣的事情了。)

(但不要紧。)

因此,如果AGI似乎还很遥远,并且您认为由此得到的结论是您还不能在AGI对齐上做任何富有成效的工作,那么可以提供的隐含替代策略是:等待一些未指明的未来事件,它告诉我们AGI即将到来;和然后我们都知道开始工作AGI对齐是可以的。

这在我似乎是错误的一些理由。这里是其中的一些。

阅读更多 ”

2017年9月通讯

||时事通讯

金宝博娱乐研究更新

一般更新

  • 作为他在MIRI工程实习的一部分,马克斯·哈姆斯协助建造和扩展RL-Teacher,这是一个基于“金宝博官方来自人类偏好的深度RL“Openai / DeepMind研究金宝博娱乐合作。看Openai的公告
  • MIRI首席运营官Malo Bourgon参加了关于如何做好事情的小组讨论(视频)及从事人工智能工作(视频)在旧金山举行的有效利他主义全球会议上发表了讲话。人工智能影响研究员Ka金宝博娱乐tja Grace也谈到了人工智能安全(视频).EAG其他有关人工智能的讲座包括丹尼尔·杜威(视频)和欧文棉花巴尔特(视频),以及更大规模的小组讨论(视频).
  • 宣布两名诺贝尔文学奖得主:劳伦斯·拉斐尔兄弟的作品Houseproud"和肖恩·海尔巴赫的"循环中的人类”。
  • 增加一个开发在线人工智能课程材料的项目正在寻找志愿者。

新闻和链接

新论文:“CIRL框架中的不可矫正性”

||论文

CIRL框架中的不可纠正性

Miri Assistant 金宝博娱乐Research同伴Ryan Carey有一个新的纸,讨论了良好表现的情况合作逆钢筋学习(CIRL)任务并不意味着软件代理将协助或合作程序员。

本文,标题为“CIRL框架中的不可纠正性,列出了CIRL违反的四种情况可订正定义翱翔等。(2015).抽象的:

价值学习系统有遵循关机指令的动机,金宝博官方假设关机指令提供了关于哪些操作会导致有价值结果的信息(在技术意义上)。然而,这种假设对于建模错误规范(例如,在程序员错误的情况下)并不可靠。我们通过展示一些有监督的POMDP场景来证明这一点,在这些场景中,参数化奖励函数中的错误消除了遵循关闭命令的动机。这些困难与Soares等人(2015)在他们关于修正性的论文中讨论的困难相似。

我们认为,重要的是考虑在一些较弱的假设下进行关机命令的系统(例如,该一个小型验证模块金宝博官方正确实现;与整个先前概率分布和/或参数化奖励函数相反)。我们讨论了一些困难,以便在价值学习框架中达到这些担保。

本文是哈菲尔德梅纳尔,龙兰,扶宴和罗素的论文的回应,“开关的游戏.”Hadfield-Menell等人。展示在不确定其奖励功能并认为其人金宝博官方为运营商有更多关于此奖励功能的信息时,AI系统对人类投入更加敏感。Carey表明,CIRL框架可用于将浮雕的问题正式化,以及CIRL系统的已知保证,在“关闭开关游戏”中给出,依赖于关于具有无差错元素系统的强烈假设。金宝博官方具有较少理想化的假设,价值学习代理可能具有信念,使其导致它从人类逃避重定向。

关机按钮的目的是关闭AI系统金宝博官方如果其他保证都失效了例如,如果AI系统忽略(出于一个原因或另一个),则运营商的指令。金宝博官方如果[AI系统]的设计者金宝博官方R将系统编程得如此完美,以至于先前的和[奖金宝博官方励功能]R完全没有bug,那么Hadfield-Menell等人(2017)的定理确实适用。在实践中,这意味着为了能够修正,我们必须拥有一个对于所有可能重要的事物都不确定的AI系统。金宝博官方问题是,对所有可能的世界和所有可能的值函数执行贝叶斯推理是相当棘手的。实际上,为了实现系统的信念系统和更新规则,人类可能不得不使用大量的启发式和近似方法。金宝博官方[…]

Soares等人似乎想要一个关机按钮作为最后的手段,在AI系统观察到并拒绝了程序员的建议(而程序员认为系统出现了故障)时关闭AI系统。金宝博官方很明显,一些系统的一部分必须正常工作金宝博官方,这样我们才能期望关机按钮完全工作。然而,依赖于系统先前的规范、奖励功能的规范、不同行动类型的分类方式等方面的零严重错误,按钮的工作似乎并不可取。金宝博官方相反,我们希望开发一个小而简单的关闭模块,其代码在理想情况下可以经过严格验证,并且在理想情况下可以关闭系统,即使在系统其余部分的规范中出现大型程序员错误。金宝博官方

为了在价值学习框架中进行这一点,我们需要一个值学习系统,(i)能够通过观察关机命令的小验证模块覆盖其动作;金宝博官方(ii)没有动力去除,损坏或忽略关机模块;(iii)对其周围的关机模块有一些小的动力;即使在广泛的情况下R、先前的、可用操作集等都是错误指定的。

即使学习了效用函数,仍然需要额外的防线来防止意外的失败。我们希望通过模块化人工智能系统来实现这一目标。金宝博官方为了达到这个目的,我们需要一个代理的模型,该模型将以一种可以修正的方式行为,这种方式能够健壮地纠正对其他系统组件的错误规范。金宝博官方

注册以获取新的Miri技术结果的更新

每次发布新技术文件时都会通知。

2017年8月通讯

||时事通讯

金宝博娱乐研究更新

一般更新

新闻和链接

2017年7月简报

||时事通讯

一些主要年中米里更新:我们收到了迄今为止最大的一笔捐赠,来自以太坊投资者的101万美元!我们的研金宝博娱乐究重点也发生了一些变化,这反映了四名新的全职研究人员(Marcello Herreshoff, Sam Eisenstat, Tsvi Benson-Tilsen和Abram Demski)的加入以及Patrick LaVictoire和Jessica Taylor的离开。

金宝博娱乐研究更新

一般更新

新闻和链接

研究小组的最新进展,还有一大笔金宝博娱乐捐款

||新闻

我们有几项重大消息要宣布,包括两个月来的新进展2017战略更新

1.5月30日,我们收到了一个惊喜$ 121万捐款从一个etereum.cryptocurrency投资者。这是迄今为止我们收到的最大一笔捐款,数额很大,并将对我们来年的计划产生重大影响。

2.两个新的全日制研究人员金宝博娱乐将加入MIRI: Tsvi Benson-Tilsen和Abram Demski。这是在山姆·艾森斯塔特和马塞洛·赫里肖夫加入车队之后5月.我们还开始与工程师正常工作,以获得我们新的石板软件工程师职位空缺

3.我们的两位研究人员最近金宝博娱乐离开了: Patrick LaVictoire和Jessica Taylor,研究人员先金宝博娱乐前在我们的“高级机器学习系统对齐金宝博官方“研金宝博娱乐究议程。

有关详细信息,请参阅下文。


阅读更多 ”