2013年评论:战略和说明性研究金宝博娱乐

||美里战略

这是我个人和定性的第三部分2013年美里的自我审查,在其中我开始回顾美里2013年的研究活动。金宝博娱乐通过“研金宝博娱乐究活动”,我的意思是包括主要针对研究人员的外展工作,还包括三种类型of research performed by MIRI:

我将在这篇文章中回顾Miri的战略和说明性研究;金宝博娱乐我对Miri 2013年友好AI研究的评论将在以后的帖子中出现金宝博娱乐。在本文的其余部分中,我通常不会尝试区分哪些著作是“说明性”与“战略”研究,因为其中大多数部分都是两种。金宝博娱乐

Read more »


  1. 请注意,我所说的“ Miri的战略研究”或“超级智能战略研究”是一个以超智慧为中金宝博娱乐心的子集GiveWell会称呼“strategic cause selection research” andCEA会称之为“导致优先研究金宝博娱乐。”

Miri在Google Adwords上的经验

||美里战略

Adwords

2011年底,Miri开了一个Google赠款account, which provides $10k/mo in free Google Adwords for nonprofits. Kevin Fischer and I tweaked our Adwords account over several months until we successfully spent the full $10,000/mo 3 months in a row.

这个qualified us for Grants Pro, and we are still grandfathered into that (now unavailable) $40k/mo level of free Adwords. The limit is actually $1350/day which is challenging to spend wisely, even with the recently increased max bidding level of $2/click. But with more tweaking we are now able to spend nearly all of it each month. Kevin and I probably spent 100 hours between us over the past few years optimizing this, but much of it was done while we were both volunteering for MIRI. Ongoing tweaking requires only an hour or less of my time per month.

流量很大(我们总数的2/3),但质量很小。在过去的6个月中,我们通过Google Adwords开车约25万名访客前往Miri的网站。

  • 5000人阅读了我们至少一篇研究论文金宝博娱乐
  • 500签署了新闻通讯(我们的真正目标,因为它使他们有机会再次收到我们的来信)
  • 150去了志愿者网站(而且几乎所有人都没有注册)
  • 100申请参加研究研讨会(尚无合格候选人)金宝博娱乐

我们的印象是,Miri特别困难地利用Google Adwords,因为我们的工作与人们已经知道的事情之间存在着如此的推论距离。许多things we could show someone who had never heard about us试图产生强烈的影响将是可能的more misleading than helpful。我们预计大多数慈善机构可以比我们能够更高价值使用Google AdWords,包括例如有效的利他主义元慈善或动物福利群体。

每个通讯订户prett支付16美元y bad, and it’s not remotely how we would spend $1350/day if it was unrestricted money. But, Adwords creates some value on the margin and we’re glad Google includes us in the program and that we’re able to reach new people about our work by using it. It’s 1000 new people getting our newsletter every year, and more eyeballs on our content. Some of them might pass it to someone else who would be good for a workshop, or something.

也向其他非营利组织发出警告:我们尝试多次吸引实习生或志愿者改善我们的AdWords帐户,但没有人擅长于此。许多远程支持者(其中一些人在AdWords上发誓很棒)都可以访问,并且没有对一个广告系列进行一次更改,更不用说创建新的实验并找到改进了。我们还简要尝试向承包商付款以制作新广告,他们至少尝试了一些事情,但是他们的广告并没有产生价值,因此我们不得不放手。

If charities work with volunteers or supporters to improve their Adwords accounts, I’d recommend requiring that volunteers produce proof that they are currently managing at least one other large Adwords account successfully (or only ask volunteers for cheap things like ideas and don’t expect any help from them doing the much more costly and difficult work of actually implementing their ideas).

职业at MIRI

||消息

我们已经发布了新的职业Page,在Miri上宣传当前的工作空缺。

As always, we’re seeking数学研究人金宝博娱乐员to make progress on Friendly AI theory. If you’re interested, the next step is not to apply for the position directly, but to金宝博官方

We are also accepting applications for a赠款经理,,,,a科学作家, 和executive assistant

访问我们的职业页面申请

careers

罗纳德·德·沃尔夫(Ronald de Wolf)on Quantum Computing

||对话

罗纳德·德·沃尔夫(Ronald de Wolf)portrait罗纳德·德·沃尔夫(Ronald de Wolf)是CWI的高级研究员,也金宝博娱乐是阿姆斯特丹大学的兼职教授。他在2001年获得了有关量子计算和通信复杂性的论文,该博士学位。哈里·布尔曼andPaul Vitanyi。Subsequently he was a postdoc at UC Berkeley. His scientific interests include quantum computing, complexity theory, and learning theory.

他还拥有哲学硕士学位(他的论文是关于Kolmogorov复杂性和Occam的Razor的),并享受古典音乐和文学。

卢克·穆尔豪瑟(Luke Muehlhauser):在我们进行量子计算之前,让我询问您有关哲学的信息。除其他主题外,您的MSC论文讨论了计算学习理论与哲学辩论的相关性奥卡姆剃刀,这是一个原则,主张“在与事实一致的理论,假设或解释中,我们更喜欢简单而不是更复杂的东西”。

尽管许多哲学家和科学家都遵守了Occam剃须刀的原则,但它通常是模棱两可的,这是“简单”的含义,这也是为什么首先是合理的。但是在您的论文中,您写道:“在某些正式环境中,我们或多或少都可以证明Occam的剃须刀作品的某些版本。”

当我争辩时,哲学家通常是持怀疑态度的K-复杂性像您一样,Occam的剃须刀版本。例如,南加州大学的肯尼·伊斯瓦兰(Kenny Easwaran)once wrote,“我从未真正看到[基于K-复杂性的简单措施]如何解决任何问题,因为它始终取决于通用机器的选择。”

How would you reply, given your optimism about justifying Occam’s razor “in certain formal settings”?

Read more »

强大的合作:友好AI研究中的案例研究金宝博娱乐

||分析

robots shaking hands (cropped)

纸”Robust Cooperation in the Prisoner’s Dilemma: Program Equilibrium via Provability Logic” is among the clearer examples of theoretical progress produced by explicitlyfai-related research goals. What can we learn from this case study in Friendly AI research? How were the results obtained? How did the ideas build on each other? Who contributed which pieces? Which kinds of synergies mattered?

To answer these questions, I spoke to many of the people who contributed to the “robust cooperation” result.

Read more »

Two MIRI talks from AGI-11

||消息,,,,视频

Thanks in part to the volunteers atMIRI Volunteers,我们现在可以发布两次演讲的视频,幻灯片和笔录AGI-11。Both talks represent joint work by Anna Salamon and Carl Shulman, who were MIRI staff at the time (back when MIRI was known as the “Singularity Institute”):

Salamon&Shulman(2011)。整个大脑仿真是创建安全AGI的平台。[[视频这是给予的[[幻灯片这是给予的[[成绩单这是给予的

Shulman&Salamon(2011)。作为AGI安全技术,规避风险的偏好。[[视频这是给予的[[幻灯片这是给予的[[成绩单这是给予的

Mike Frank on reversible computing

||对话

迈克·弗兰克肖像迈克尔·弗兰克(Michael P. Frank)1991年,他在斯坦福大学获得了斯坦福大学的符号系统理学学士学位,并于1994年和1999年分别获得了马金宝博官方萨诸塞州理工学院的电气工程和计算机科学哲学博士学位。在斯坦福大学期间,他在1990 - 91年由计算机机械协会赞助的国际大学计划比赛中帮助他的团队赢得了世界冠军。在他的学生期间,他在IBM的T.J.进行了研究实习。金宝博娱乐沃森研究中心,金宝博娱乐NASA的AMES研究中心,NEC研究所,斯坦福大学研究所以及斯坦福大学的语言和信息研究中心。大一新生在微软担任软件工程实习生后,他还度过了整个夏天。在1998年至1999年期间,迈克(Mike)停了一年,在朋友的网络创业公司(Stockmaster.com)工作了一年。

毕业后,他从1999年至2004年开始担任佛罗里达大学计算机和信息科学与工程系的终身助理助理教授,并在佛罗里达A&M大学 - 佛罗里达州立大学 - 佛罗里达州立大学 - 佛罗里达州立大学 - 佛罗里达州立大学学院的电气和计算机工程系工作。2004 - 2007年的工程。在2007年至2008年创业的命运不佳之后,他返回学术界,担任佛罗里达州A&M物理学系和FAMU-FSU工程学院的各种短期研究和教学职位。金宝博娱乐他目前的头衔是工程学的助理,他大部分时间都在监督多学科高级工程项目。多年来,弗兰克博士的研究兴趣跨越了许多不同领域,包括决策金宝博娱乐理论人工智能,DNA计算,可逆和量子计算,基于市场的计算,安全的选举系统和数字现金。金宝博官方

卢克·穆尔豪瑟(Luke Muehlhauser):一些长期计算预测包括纳米级计算的可能性,但是在该规模上有效计算似乎需要由于该规模的计算Landauer限制。您能否解释什么是可逆的计算,以及为什么它似乎对于超出微型化的一定程度的有效计算似乎是必要的?

Read more »

Emil Vassev关于正式验证

||对话

Emil Vassev肖像Emil Vassev博士获得了他的硕士学位在计算机科学(2005年)和他的博士学位上《计算机科学》(2008年)康科迪亚大学,,,,Montreal, Canada. Currently, he is a research fellow atLero (the Irish Software Engineering Research Centre) atUniversity of Limerick,,,,Ireland where he is leading the Lero’s participation in theAscens FP7项目和Lero与ESA的联合项目与自动软件系统开发方法有关。金宝博官方他的研究金宝博娱乐重点是知识表示和对自适应系统的意识。金宝博官方VASSEV博士的研究兴趣是主要研究的一部金宝博娱乐分,包括工程自主系统,分布式计算,正式方法,网络物理系统和软件工程。金宝博官方他出版了两本书和100多本国际同行评审的论文。作为与美国宇航局合作的一部分,Vassev被授予另一项申请的一项专利。

卢克·穆尔豪瑟(Luke Muehlhauser): 在 ”Swarm Technology at NASA: Building Resilient Systems,”您和您的合着者写道:

为了提高[远程探索]任务的生存能力,NASA [使用]原理和技术可以帮助这种系统变得更有弹性……金宝博官方

…实践表明,传统的开发方法无法保证软件可靠性并防止软件故障。此外,使用正式方法开发的软件往往更可靠。

When talking to AI scientists, I notice that there seem to be at least two “cultures” with regard to system safety. One culture emphasizes the limitations of systems that are amenable to (e.g.) formal methods, and advises that developers use traditional AI software development methods to build a functional system, and try to make it safe near the end of the process. The other culture tends to think that getting strong safety guarantees is generally only possible when a system is designed “from the ground up” with safety in mind. Most machine learning people I speak to seem to belong to the former culture, whereas e.g.凯瑟琳·费舍尔其他从事关键安全系统的人似乎属于后一种文化。金宝博官方

您是否认为AI中的这两种文化?如果是这样,我从上面的论文中引用的第二句话是否意味着您通常属于第二种文化?

Read more »