数学证明改善但不能保证安全性,安全性和友好性

||分析

加密In 1979, Michael Rabin证明只有在攻击者可以因素上,他的加密系统可以金宝博官方倒置 - 以解密加密的消息 -n。而且由于此保理任务是计算困难对于任何足够大的n,,,,Rabin’s encryption scheme was said to be “provably secure” so long as one used a sufficiently largen

Since then, creating encryption algorithms with this kind of “provable security” has been a major goal of cryptography,1符合这些标准的新加密算法有时被销售为“可证明的安全”。

不幸的是,“可证明的安全性”一词可能会产生误导,2for several reasons3

Read more »


  1. 如果加密系统正式陈述了其安全金宝博官方要求,则可以证明是安全的,并且该系统被证明是像Rabin的系统一样被系统满足的。看Wikipedia
  2. 降低安全性仍然可以有用(Damgård 2007)。我的观点只是“可证明的安全性”一词可能会产生误导,尤其是对于非专家而言。
  3. 有关更多详细信息,以及“可证明安全性”一词的其他问题,请参见Koblitz&Menezes’另一个看website and its linked articles, especiallyKoblitz & Menezes (2010)

即将在哈佛和麻省理工学院举行会谈

||News

Paul & Eliezer10月15日从4:30-5:30pm,Miri Workshop参与者保罗·克里斯蒂安诺(Paul Christiano)将在Harvard University Science Center,,,,room 507, as part of the哈佛的逻辑研讨会和座谈会。

Christiano’s title and abstract are:

概率的化学和真理的确定性

No model M of a sufficiently expressive theory can contain a truth predicate T such that for all S, M |= T(“S”) if and only if M |= S. I’ll consider the setting of probabilistic logic, and show that there are probability distributions over models which contain an “objective probability function” P such that M |= a < P(“S”) < b almost surely whenever a < P(M |= S) < b. This demonstrates that a probabilistic analog of a truth predicate is possible as long as we allow infinitesimal imprecision. I’ll argue that this result significantly undercuts the philosophical significance of Tarski’s undefinability theorem, and show how the techniques involved might be applied more broadly to resolve obstructions due to self-reference.

Stata中心然后,开October 17th从4:00-5:30pm,斯科特·亚伦森(Scott Aaronson)将主持Miri研究员的演讲金宝博娱乐Eliezer Yudkowsky

Yudkowsky的演讲将比Christiano的演讲更容易访问,并将在麻省理工学院的演讲中进行Ray和Maria Stata Center(请参阅右图),在32-123室(又名Kirsch礼堂,有318个座位)。谈话前15分钟将有点心。Yudkowsky的标题和摘要是:

理性代理中的递归:自我修饰AI的基础

反思性推理是人类认知的一个熟悉但正式难以捉摸的方面。当我们考虑构建其他复杂的推理者或可能设计其他像自己一样复杂的AIS时,这个问题就进入了最前沿。数学逻辑是一种能够反思自身的正式语言的最发达的竞争者,被不可能的结果所困扰。同样,当应用于具有详细的自我知识的代理商时,标准决策理论开始产生违反直觉或不一致的结果。在这次演讲中,我将提出机器情报研究所举办的研讨会的一些早期结果,以应对这些挑战。金宝博娱乐

首先是对霍夫斯塔特(Hofstadter)的“超级政权”的形式化和重大改进,这是(非正式)观念,即理想理性的代理人可以通过利用其行为与对手的行为之间的逻辑联系来实现诸如囚犯困境之类的游戏之类的游戏。我们展示了如何实施一个代理,该代理商在源代码的相互了解中可靠地优于经典游戏理论,并使用一般程序在单一囚犯的困境中实现相互合作。使用快速算法查找固定点,我们能够编写执行正式化所需逻辑交互的代理的实现,并描述了经验结果。

其次,据称,戈德尔的第二次不完整定理对任何AI理解其自身推理的行为,甚至相信它确实有效的原因给人带来了严重的阻碍。我们在这种情况下展示了一个简单的模型,并表明解决这个问题的直接解决方案确实不令人满意,导致代理商愿意相信较弱的同伴但不信任自己的推理。我们展示了如何在不损害逻辑表现力的情况下规避这一难度。

Time permitting, we also describe a more general agenda for averting self-referential difficulties by replacing logical deduction with a suitable form of probabilistic inference. The goal of this program is to convert logical unprovability or undefinability into very small probabilistic errors which can be safely ignored (and may even be philosophically justified).

Also, onOct 18that 7pm there will be a不太错误/Methods of Rationalitymeetup/party on the MIT campus inBuilding 6,120室。将有小吃和茶点,尤德科夫斯基将出席。

Paul Rosenbloom在认知体系结构上

||Conversations

Paul Rosenbloom portraitPaul S. Rosenbloom是南加州大学计算机科学教授,也是USC创意技术研究所的项目负责人。他曾是USC信息科学研究所的主要成员,已有二十年了,在第二个十年中领导了新的方向活动,并在那里完成了副主任的时间。早些时候,他曾在卡内基·梅隆大学(Carnegie Mellon University)的教职员工(在那里也获得了计算机科学的MS和博士学位)和斯坦福大学(他还获得了与众不同的数学科学学士学位)。

他的研究金宝博娱乐集中在认知体系结构上 - 无论是自然还是人造的固定结构模型,以及理解计算作为科学领域的性质,结构和地位。他是AAAI家伙,共同发展Soar(one of the longest standing and most well developed cognitive architectures), the primary developer ofSigma(这融合了早期体系结构的见解,例如Soarwith ideas from graphical models), and the author of关于计算:第四大科学领域(MIT Press, 2012).

Read more »

Effective Altruism and Flow-Through Effects

||Conversations

上个月,美里研究员卡尔·舒尔曼(C金宝博娱乐arl Shulman)1参加了有关有效利他主义和流通效果的记录辩论/对话。这个问题与Miri的使命高度相关,因为Miri专注于旨在产生无私价值的活动通过它们对AGI发明的流动影响

The conversation (mp3,,,,transcript) included:

推荐的背景阅读包括:

To summarize the conversation very briefly: All participants seemed to agree that more research on流动效果将高价值。然而,有一个风险such research isn’t highly tractable. For now, GiveWell will focus on other projects that seem more tractable. Rob Wiblin might try to organize some research on flow-through effects, to learn how tractable it is.


  1. Carl was a MIRI research fellow at the time of the conversation, butleft MIRI在2013年8月底学习计算机科学。

通过公司匹配加倍您的捐款

||News

双纪念日Miri现在与Double the Donation,,,,a company that makes it easier for donors to take advantage of donation matching programs offered by their employers.

超过65%的《财富500强公司》与员工捐款相匹配,40%的公司提供志愿服务的赠款,但其中许多机会并未引起人们的注意。大多数员工不知道这些程序存在!

Go to MIRI’s Double The Donation page这里to find out whether your employer can match your donations to MIRI. Or, use the form below:


How well will policy-makers handle AGI? (initial findings)

||分析

美里的使命是为了确保创造智能的情报具有积极影响。”

上e policy-relevant question is:我们应该如何期望政策制定者处理AGI的发明,这意味着要在AGI风险降低风险和其他问题方面付出多少努力?

为了调查这些问题,我们问Jonah Sinick要研究政策制定者在某些方面与未来的AGI发明相似的处理方式,并总结了他的发现。我们预先承诺发布有关该主题的整个电子邮件交流(带有次要编辑),就像我们的项目上我们如何计划未来几十年。下面的帖子是从我们的完整电子邮件交换(.pdf)至今。

就像我们对未来几十年能够计划如何计划的调查一样,we decided to publish our initial findings after investigating only a few historical cases。这使我们能够在继续之前就项目的价值以及改进的建议获得反馈。这也意味着we aren’t yet able to draw any confident conclusions about our core questions

到目前为止,该项目的最重要结果是:

  1. 我们提出了一种看似至关重要的方式的初步清单,其中历史案例可能与未来的AGI发明相似,并在这些标准上评估了一些历史案例。
  2. 气候变化风险似乎对AI风险似乎足够不合时宜,即研究气候变化的缓解工作可能使人们对政策制定者应对AGI风险的良好状况有限:相对于由于由于由于由于预期的损害而导致的预期损害的预期损害似乎很小人工智能风险,尤其是当人们查看对决策者的预期损害时。
  3. The 2008 financial crisis appears, after a shallow investigation, to be sufficiently analogous to AGI risk that it should give us some small reason to be concerned that policy-makers will not manage the invention of AGI wisely.
  4. 来自地磁风暴的关键基础设施的风险太小了,无法在同一参考类别中带有AGI的风险。
  5. 根除天花仅与AGI的发明有些类似。
  6. 约拿(Jonah)对政策制定者如何处理网络战争,氯氟烷和古巴导弹危机的风险进行了非常浅薄的调查,但是这些案件还需要更多的研究,甚至可以给出“最初的想法”。
  7. We identified additional historical cases that could be investigated in the future.

下面给出了更多详细信息。有关资源等等,请参阅我们的完整电子邮件交换(.docx)

Read more »

美里的9月通讯

||新闻通讯

Greetings from the Executive Director

亲爱的朋友们,

With your help, we完成的our largest fundraiser ever,,,,raising $400,000 for our research program. My thanks to everyone who contributed!

我们继续向我们的博客发布非记忆研究,包括金宝博娱乐Hanson-Yudkowsky AI-Foom辩论(见下文)。同时,目前正在编写较早的数学结果,并在我们正在进行的决策理论研讨会

今年10月,Eliezer Yudkowsky和Paul Christiano正在谈论Miri在麻省理工学院和哈佛大学的研究。金宝博娱乐确切的细节仍在确认,因此,如果您住在波士顿附近,那么您可能需要188bet娱乐城 so that you can see the details as soon as they are announced (which will be long before the next newsletter).

今年11月,尤德科夫斯基和我正在访问牛津,与我们在Future of Humanity Institute在牛津大学,也经营我们的November research workshop(在牛津)。

最后,让我与您分享一些乐趣。哲学家罗比·本辛格(Robby Bensinger)重新撰写了尤德科夫斯基(Yudkowsky)Five Thesesusing the xkcd-inspired访客五个文本编辑器,,,,which only allows use of the 1000 most common words in English.享受

Cheers,

卢克·穆尔豪瑟(Luke Muehlhauser)

Executive Director

Read more »

劳伦特·奥索(Laurent Orseau)on Artificial General Intelligence

||Conversations

劳伦特·奥索(Laurent Orseau)是副教授(maître de conférences) since 2007 at农业主义,,,,Paris, France. In 2003, he graduated from a professional master in computer science at theNational Institute of Applied Sciences在雷恩和来自人工智能研究硕士金宝博娱乐雷恩大学1。他得到了他的PhDin 2007. His goal is to build a实用理论of artificial general intelligence. With his co-author Mark Ring, they have been awarded theSolomonoff AGI Theory Prize在Agi’2011和库尔兹韦尔最佳主意奖at AGI’2012.

卢克·穆尔豪瑟(Luke Muehlhauser): In the past few years you’ve written some interesting papers, often in collaboration with马克环,使用AIXI- 类似模型,分析了不同类型的高级理论剂的一些有趣特征。例如Ring&Orseau(2011),您表明,某些高级代理人通过直接控制其输入刺激来最大化他们的回报 - 就像大鼠当科学家直接控制输入刺激到奖励电路时“导线”的大鼠(Olds&Milner 1954)。同时,您表明至少一种代理,“基于知识的”代理不会导致头部。您能试图给我们一个直观的感觉,即为什么有些代理会导致螺丝头,而基于知识的代理不会?


劳伦特·奥索(Laurent Orseau): You’re starting with a very interesting question!

Read more »