2012年12月通讯

||新闻稿

来自执行董事的问候


亲爱的奇点研究所的朋友们:

这个月标志着我们的业务发生了自奇点峰会公司成立于2006年。现在奇点大学已经做到了收购了奇点峰会(细节如下)和SI对理性训练的兴趣正在由现在分离的应用理性中心这个奇点研究所正在进行重大过渡.12年来,我们在很大程度上专注于运动建设 - 通过奇点峰会,少错,以及其他程序。这项工作需要为我们的使命建立一个支持社区,并为我们独特的跨学科工作建立一个潜在的研究人员池。金宝博娱乐

现在,是时候说“任务完成得足够好,可以转向研究”了。金宝博娱乐我们的支持者社区现在已经足够大,我们可以雇佣合格的研究人员,如果我们能雇佣他们的话。金宝博娱乐有发表金宝博娱乐 几十个原创的研究文章不太金宝博娱乐错,我们肯定没有被忽视的研究。但2013年,我们计划枢转,以便在研究中花费大量的资金份额金宝博娱乐.如果你想帮助,请促进我们正在进行的筹款驱动器

向前,向上,

路加福音



奇点大学举办的奇点峰会


奇点峰会会议由2006年由SI创立的,已经是由奇点大学获得SI.作为协议的一部分,奇点研究所将改变其名称(以减少品牌混乱),但将仍将担任一些后续几年的奇点峰会的共同生产者。我们很高兴我们可以将会议转移到一个组织,这是一个强烈承诺,以维持其质量的增长。

峰会收购的大多数资金将被置于单独的基金中“友好的AI团队,因此不支持我们的日常运营或其他项目。

我们要感谢那些参与奇点峰会成功的人,特别是过去SI总统迈克尔瓦索尔(现为万能药的研究金宝博娱乐和峰会组织者艾米威利。


2012冬季配对挑战!


我们很高兴宣布我们的2012冬季配对挑战赛.由于若干主要捐助者的慷慨,每次捐款到2013年1月5日截至2013年1月5日将与美元相匹配,总计115,000美元!

现在是你的机会双倍你的影响在帮助我们筹集高达230,000美元的同时帮助资助金宝博娱乐

注意新的应用理性中心(CFAR)不久将开展另一项筹款活动。

请阅读我们博客帖子为挑战有关更多详细信息,包括我们在去年的整个成就以及我们未来6个月的计划。请支持我们从运动构建阶段过渡到研究阶段金宝博娱乐

Edwin Evans, Mihály Barasz, Rob Zahra, Alexei Andreev, Jeff Bone, Michael Blume, Guy Srinivasan和Kevin Fischer提供了115,000美元的匹配资金。


奇点研究所的友好人工智能数学一周


2
从11月11日 - 17日,SI在加利福尼亚伯克利的总部举行了一名友好的AI数学研讨会。参与者 - Eliezer Yudkowsky,Marcello Herreshoff,Paul Christiano和MihályBarasz - 解决了与友好AI相关的特定问题。我们举办了研讨会,主要是测试关于理想团队规模的假设和问题的遗传性,同时允许团队在短短一周内实现重大结果。

愉快地,似乎是团队做过达到一个显著的结果,如果发表,参与者估计将相当于1-3篇论文。更多细节即将公布。


SI的图灵奖颁发给Bill Hibbard的“避免意外的AI行为”


奖金港口奖

这些年AGI-12在英国牛津举行的会议,包括一个特别的轨道AGI影响.从这条赛道中选择了一篇论文将在特殊的体积中发表实验与理论人工智能杂志2013年。

该奇点研究所此前曾宣布从AGI-12或AGI对如何为AGI开发安全架构或目标问题的问题的最佳纸张1000美元。在此次活动时,奖项被授予纸上的纸张避免意外的ai行为

SI的图灵奖是为了纪念艾伦·图灵,他不仅发现了机器智能的一些关键思想,而且抓住了它的重要性,他写道:“似乎一旦[人类水平的机器思考]开始,诺贝尔和平奖颁发给那些不仅提高了人们对这一重要问题的认识,而且在解决这一问题上取得技术进步的工作。

SI研金宝博娱乐究员Carl Shulman也在AGI影响。你可以阅读他的谈话的摘要,“我们可以使用不值得信任的人类大脑仿真来制作值得信赖的人吗?”,在这里.如果谈话视频稍后可用,我们将在未来的时事通讯中链接到它。


新论文:我们如何预测AI - 或者未能


笔记:本文中的发现基于数据集错误。有关详细信息,请参阅https://aiimpacts.org/error-in-armstrong-and-sotala-2012/

新论文由斯图亚特·阿姆斯特朗FHI) 和Kaj SotalaSI.)现已出版(PDF)作为一部分超越艾会议诉讼.以前讨论了其中一些结果在这里.原始的预测数据是可用的在这里.这少错线程在这里.我们感谢Stuart和Kaj对人工智能预测进行了有价值的元研究。

在这项研究中,斯图尔特·阿姆斯特朗(Stuart Armstrong)和卡伊·索塔拉(Kaj Sotala)检查了一个包含从上世纪50年代到现在的257项人工智能预测的数据库。这个数据库是由奇点研究所的研究人员(Jonathan Wang金宝博娱乐和Brian Potter)通过系统地检索文献组装而成的。金宝博官方其中95个被认为是人工智能时间线预测。

本文考察了人工智能预测的几种民间理论“Maes-Garreau法”(人们预测人工智能将在自己生命的尽头出现)以及“人工智能永远在15-25年后”的预测。金宝博官方对人工智能预测数据库的系统分析显示,支持第二种理论,而不是第一种。许多预测都集中在未来15-25年左右,无论这些预测是在20世纪50年代还是21世纪初做出的,这一趋势都保持不变。预测没有被观察到聚集在预测者的预期寿命的末端,这一结果与梅斯-加罗假说相矛盾。研究还发现,专家的预测与非专家的预测没有任何明显的关联;也就是说,似乎没有证据表明专家能比非专家做出更好的人工智能预测。2012年奇点峰会上,斯图尔特·阿姆斯特朗如是说总结了研究结果在台上的演讲中。

从这项研究的主要事件是预测人级AI的到来是一种模糊的努力,我们应该用大量的盐进行任何预测。合理的方法是扩大我们的置信区间 - 即,认识到我们在制定人级AI时我们并不真正知道,并相应地制定计划。正如我们无法自信地说明AI近在咫尺,我们无法自信地说明AI很远。(这也是早期歌剧院出版物的结论,“智力爆炸:证据和进口。“)


迈克尔·阿尼西莫夫发表对P.Z. Myers和凯文·凯利的回复


Si Media Director Michael Anissimov已发布博客帖子响应生物学家P.Z.迈尔斯全脑仿真畅销作者Kevin KellyAI起飞

在博客文章中,P.Z.迈尔斯一般拒绝整个大脑仿真的想法,陈述“它不会工作。它不能。”然而,他的反应集中在用当前的技术扫描活体大脑。作为回应,阿尼西莫夫承认,迈尔斯的批评在狭隘的背景下是有意义的,但他的回应误解了整个大脑模拟指的是广泛的可能的扫描方法,而不仅仅是简化主义的稻草人“扫描进去,模拟出来”。因此,虽然迈尔斯的批评适用于某些类型的大脑扫描方法,但它并不适用于整个大脑模拟。

anissimov的回应凯文凯利是对a的回应吗四年前博客帖子,“思想主义”。Kelly的博客文章是由于突出知识分子的快速AI起飞理念的最实质性批评之一。凯莉辩称,科学技术研究和发展的想法比“日历时间”更快地发生,因为存在固有的时滞过程,例如细胞代谢,这限制了困难研究问题金宝博娱乐的进展,即无限期地延长人类健康综合症.Anissimov认为,比人类更聪明,聪明的智慧可以通过卓越的洞察力,将问题破坏到它们的组成部分,并通过使实验大规模加速和平行进行实验。


关于减少错误的原始金宝博娱乐研究


SI执行董事卢克·穆罕沃斯,在我们研究小组的帮助下,编写了一份金宝博娱乐原始研究名单金宝博娱乐由网络社区生产少错.虽然很多帖子少错先前公布的研究摘要金宝博娱乐,在哲学,决策理论,数学逻辑和其他领域也有大量的原始专家材料。

原始研究的例子金宝博娱乐少错包括Eliezer Yudkowsky's“初学者高级认识论101”序列,魏戴的关于他最初的决策理论(UDT)的帖子,Vladimir Nesov的关于反事实抢劫的思考和Benja Fallstein的逻辑不确定性问题的调查.总而言之,列表编译了50多个关于从2008到现在的错误拉伸的原始研究的例子。金宝博娱乐特别感兴趣的是有助于的原始研究金宝博娱乐解决公开问题在友好的人工智能。

最初的研究金宝博娱乐少错继续追求几个讨论线程在网站上。


我如何减少人工智能的存在风险?


Luke Muehlhauser最近发表的另一篇“少错”的文章是“我如何降低AI的存在风险?”“存在风险”,a由牛津哲学家尼克博斯特罗姆创造的术语,具体指人类生存面临的风险。奇点研究所认为先进的人工智能是一种存在风险对人类的未来。“存在风险”通常是指人类物种的总破坏,而不是威胁到90%或99%人口的风险,这将构成全球灾难性风险,而不是真正存在的风险。

自2000年成立以来,奇点研究所(Singularity Institute)一直认为,比人类更聪明、能够自我改进的人工智能(ai)对人类的生存构成了威胁。令人担忧的是,在某种程度上在接下来的几百年里,将会创建先进的人工智能,可以制造自己的复杂的机器人可能取代人类文明,不一定通过深思熟虑的行动只是作为一个副作用的剥削我们的生存所需的资源,如碳、氧、或物理空间。了解更多背景信息,请阅读我们的简明摘要,“降低人工智能带来的长期灾难性风险”

这篇文章概述了减少人工智能风险的三个主要工作类别:(1)元工作,比如赚钱来促进友好人工智能的研究;金宝博娱乐(二)战略工作,努力更好地从战略上认识我们面临的挑战;(3)直接工作,如技术研究、政治行动或特定种类的技术开发。金宝博娱乐这三种方式都对构建“存在风险缓解生态系统”至关重要,这是数百人为了更好地理解人工智能风险并采取行动而共同努力的结果。金宝博官方


新研究协金宝博娱乐会


这个奇点研究所很高兴地宣布四个新的金宝博娱乐研究协会,Benja Fallenstein,Marcello Herreshoff,MihályBarasz和Bill Hibbard。

Benja Fallenstein.有兴趣开发安全AI进球的基本研究,特别是从进化心理学的金宝博娱乐数学模型的角度,以及在综合证明验证中的派系推理,决策理论,博弈论,反思数学和编程语言。Benja是维也纳大学的数学学生,重点是生物疗法学。

马塞洛赫列斯果夫倍烧自2007年以来,一直与奇点研究所就友好人工智能的数学问题进行合作。高中时,他两次进入USACO的决赛,并发表了一个新颖的组合学结果,并在第十二届斐波那契数列及其应用国际会议上发表。他拥有斯坦福大学的数学学士学位。在斯坦福大学,他在Putnam数学竞赛中获得了两项荣誉提名,并提交了他的荣誉论文发表在IGPL的逻辑期刊上。他的研究金宝博娱乐兴趣包括数学逻辑,以及它在形式化连贯目标系统中的应用。金宝博官方

Mihaly Barasz适用于功能语言和类型理论及其在正式证明系统中的应用。金宝博官方他深深地关心减少存在的风险。他有一个m.sc.来自Eotvos Lorand University,布达佩斯的数学暨Shude奖项,目前在谷歌工作。

比尔希伯德威斯康辛大学麦迪逊空间科学与工程中心名誉高级科学家,目前致力于人工智能安全和意外行为问题。他拥有威斯康星大学麦迪逊分校的数学学士学位、计算机科学硕士和博士学位。


ale风险相关的改进LW Wiki


这个奇点研究所很棒提高了少错有新条目的Wiki,主题来自种子的人工智能道德上的不确定性和更多。超过120页进行了总共更新。提前提出的致力于提示对维基的改进学术AI风险维基.对维基的改进使发表关于人工智能风险的简短、清晰的学术文章时能够获得更多的背景知识。

一些感兴趣的文章包括5和10个问题美国国际集团的怀疑美国国际集团史泼尼克时刻人工智能的优势AI起飞基本AI驱动器生物认知增强连贯的外推着计算悬垂录音差动智力进步AI和全脑仿真的经济后果Eliezer Yudkowsky.人级AI的仿真论证更大于人类智力的可扩展性论证人类级人工智能的进化论证人类价值的复杂性友好的人工智能人文研究所的未来人工智能风险思想的历史智能爆炸道德分歧道德上的不确定性尼克博斯特罗姆最佳慈善事业优化过程Oracle Ai.正交论文回形针达到极大帕斯卡尔的抢劫递归自我改善反思决策理论单例奇点奇点超级斯托门超智终值永恒的决策理论AI工具效用提取值外推价值学习, 和全脑仿真


特辑志愿者:伊森·狄金森


本月,我们感谢Ethan Dickinson为他的志愿者工作转录视频从奇点峰会2012年会议。当我们与ethan与他的工作交谈时,他提到了一个人谈话,朱莉娅加勒夫(嵌入下面)甚至激发了一种泪流满面的情绪高潮。几年后,在制定对合理性兴趣的几年后,Ethan在志愿者工作,最初介绍了哈利波特和理性方法.今天,他觉得他正在使用全力的力量
用他的想象力去理解奇点。他借用了让·塔林的说法,用了自己读过的科幻小说,比如威廉·吉布森的神经调制伊萨克阿纳米夫的小说以众所周知的未来的中间地面情景来想着世界“更乐观,更悲观”。


精选峰会视频:Julia Galef谈理性


四十年的认知科学已经证实了这一点HOMO SAPIENS.远非“理性的动物”。科学家已经积累了一种艰巨的方式,使我们的大脑的快速节俭判断启发式在现代背景下失败,他们没有调整,或者我们的尝试快乐和有效。因此,我们在新的应用合理性(CFAR)中进行的项目 - 培训人类大脑以运行算法,以优化我们在现代世界中的自主生物的利益,而不是古代复制者的利益。此话语探讨了到目前为止从该过程中学到的内容,为什么培训聪明的人是合理的决策者对更美好的未来至关重要。


新闻项目


阿西莫

杀手机器人?剑桥大脑评估AI风险
CNET.,2012年11月26日


DARPA的PET-PROTO机器人导航障碍物
YouTube,2012年10月24日