Hubinger等人。的“高级机器学习系统中学到的学习优化风险金宝博官方“,我们在对齐问题上的新核心资源之一,现已上市arxiv, 这AI对准论坛, 和胜败。
在其他新闻中,我们收到了Vitalik Buterin的Ethereum捐赠价值230,910美元 - Inventum的发明者和联合创始人,现在是我们第三大的历史支持者!
也值得突出,来自开放的慈善项目的Claire Zabel和Luke Muehlhauser:AI安全和生物安全中的安全专业人士迫切需要。
它比在10年内更有可能,信息安全将有几十个以上的GCR为中心的角色,一些组织已经在寻找适合其需求的候选人(如果他们找到它们,则会雇用它们)。
有人符合人们专注于高影响力的职业(随着许多有效的利他主义者),通过获得Infosec专业知识和经验,然后在有关组织中搬进工作,帮助满足满足这一需求。
其他更新
- MESA优化:它是什么,以及为什么我们应该关心- Rohin Shah始终如一的一致性通讯讨论了“来自学习优化的风险......”和其他最近的AI安全工作。
- miri研金宝博娱乐究助理斯图尔特阿姆斯特朗释放了他的金宝博娱乐研究议程v0.9:将人类的偏好综合到效用函数中。
- Openai和Miri员工帮助纽约州立米奇学生Connor Leahy释放试图复制Openai的GPT-2模型。(少世纪讨论。)虽然Leahy的复制尝试没有成功,但他认为Openai的仔细讨论仍在继续迅速迅速迅速重新评估ML内发布规范的良好重新评估。引用leahy的后期:
未来的某个时间我们将达到了一点,我们的研究后果超出了我们在一周的评估周期中发现的内容。金宝博娱乐并鉴于我最近与GPT2的经历,我们可能已经在那里。我们的技术越复杂,强大,我们应该愿意花费的时间评估其后果。如果我们对安全有疑问,我们应该默认谨慎。
我们倾向于生活在曾经加速的世界中。工业和学术研发循环均在几十年中速度增长得更快。每个人都希望尽快“下一个大事”。随着我们的文化现在的方式,可能很难抵抗适应这种加速速度的压力。您的职业生涯可以取决于您的市场份额首先发布结果。
我们作为一个社区和社会需要打击这一趋势,并创造一个允许研究人员的健康的文化环境金宝博娱乐花时间。他们不必害怕延迟释放的影响或嘲笑。由于添加评估而推迟释放应该是规范而不是例外。我们需要普遍接受,我们作为社会尊重他人的安全问题,并不会惩罚他们对此问题,即使他们最终会出错。如果我们不这样做,它将在安全预防措施方面是底部的比赛。
- 来自Abram Demski:选择与控制;贝叶斯击败了好吗?;和无更新决策理论和政策选择的概念性问题
- vox.s未来完美播客采访Jaan Tallinn.并讨论Miri在源自和传播AI安全模型中的作用。
- AI不恨你,记者Tom Chivers'熟悉的书籍界和AI风险,金宝博娱乐在英国出来了。
新闻和链接
- 最近的AI安全写给:David Krueger's让我们谈谈“融合理性”;保罗·克里蒂纳诺对齐玩具型号优化;埃文斯,威廉桑德斯和andreasstuhlmüller's机器学习项目迭代蒸馏和扩增
- 来自Deepmind:Vishal Maini汇集了一个AI阅读列表,维多利亚krakovna重建ICLR Safe ML Workshop,和pushmeet kohli讨论80,000小时播客的AI安全。
- EA基金会正在授予“努力降低高级人工智能的努力的努力”;8月11日申请。
- 此外,如果您是一名年轻的AI安全研究员(带有博士学位),基于欧洲大学或非营利组织,您金宝博娱乐可能需要申请〜60,000美元的资金来自博世中心的AI。