上周，nate翱翔概述了他的情况优先考虑长期的人工智能安全工作:
1.人类具有相当一般的能力，使科技进步。让我们擅长有机化学的进化认知能力与让我们擅长经济学的进化认知能力，与让我们擅长软件工程的进化认知能力，在很大程度上重叠。
2.人工智金宝博官方能系统最终会强烈的表现人类在相关科学/技术技能。在某种程度上，这些能力也可以直接或间接地用于社会推理、长期规划、反思等方面，足够强大的一般科学推理者应该能够在任意认知任务中表现得比人类出色。
3.在科学金宝博官方、技术和相关认知能力方面远远优于人类的人工智能系统将比人类拥有更大的权力和影响力。如果建立了这样的金宝博官方系统，它们的决定和目标将对未来产生决定性的影响。
4.默认情况下，更智能的人为AI技术将是有害的而不是有益的。具体来说，如果我们只专注于提高AI代理的科学能力，而忽视了专门关注安全要求的技术工作，这将是有害的。
而我想补充：
- 智能，自主和自适应系统已经具有挑战性，以验证和验证;金宝博官方聪明于人类的科学装饰，让我们带来了相同挑战的极端版本。
- 比人类更聪明的系统还会引入新的定性风险金宝博官方，这些风险在我们的人类代理模型或狭义智能程序中无法轻易理解。
然而，这些都没有告诉我们当比人类更聪明的人工智能将被开发出来。苏亚雷斯认为我们有可能早期的进步人工智能安全问题;但我们开始得越早，我们误导努力的风险就越大。为什么不等到类似人类的决策机器越来越接近时，再把我们的努力集中在安全研究上呢?金宝博娱乐
及早开始的一个原因是，太晚开始的成本比过早开始的成本要高得多。早期的工作也可以帮助吸引更多的研究人员到这一领域，并为我们提供更好的替代方法金宝博娱乐模型。然而，在这里，我想关注的是一个不同的原因，尽早开始工作:担心一些因素可能加速比人类更聪明的人工智能的开发。
人工智能加速论文。可以在金宝博官方科学和技术能力中匹配人类的AI系统可能是AI能力异常快速改善的原因和/或效果。
如果真的发明了一般的科学推理机，这可能不会是一个孤立的事件。相反，它可能会直接促进更先进人工智能的开发。类似的考虑表明，这种系统可能是金宝博官方结果以人类和机器的认知和技术输出来衡量的智力增长速度的加速。
当人工智能能力的工作速度可能超过人工智能安全工作的速度时，推迟安全工作提出了更大的风险(因为我们可能没有考虑未来的加速效果,给我们更少的时间明显比)和不太有用的(因为我们有一个短的时间窗口之间我们改进的智能算法我们可以使用它来通知我们的安全工作和我们的安全工作需要准备实现的)。
我将指出四个期望加速的主要原因:
1.AI进度的加速器之间重叠，使能器的推动者/ AI进展结果。特别是，自动化科学和工程工作的进步可以包括自动化AI工作的进步。
2.AI进程的整体难度。如果更智能地困难，则其发明可能需要实现加速的辅助技术。或者，即使这种技术对于AI不严格必要，如果它们更容易开发，它们可能会出现。
3.ai进展的不连续性。似乎，人工智能的发展不会以统一的步伐前进。有时会有非常大的进步，比如新的理论见解，可以快速地解决一系列问题。如果在硬件继续发展的同时出现了软件瓶颈，那么当出现突破时，我们可以期待更大的加速:舒尔曼和桑德伯格争辩说，在这种情况下，廉价计算资源的可用性将使快速复制和改进高级AI软件更容易。
4.增加了对AI的兴趣。随着人工智能软件能力的提高，我们可以预期在该领域的投资将会增加，尤其是在竞争动态发展的情况下。
智能爆炸是第一种类型的加速的示例。在一个情报爆炸场景中，AI系统在AI领域内创新的能力导致了加速进展的正反馈环路，导致过度智能化。金宝博官方
智力爆炸和其他形式的加速通常合并随着智慧比人类的假设迫在眉睫;但期待加速的一些原因（例如，AI进展的总体难度'和“AI进展的不连续性”）可以同样意味着更智能的AI系统比许多研究人员所期望的更远。金宝博娱乐金宝博官方
是否有可能有助于加快安全工作相对于能力的工作？有些人建议对安全的兴趣可能会随着人类的令人越来越越来越近的。但是，这可能与AI功能投资的补偿性增加一致。由于临近过度金宝博官方智能的系统将具有似乎安全的激励，因此也可能出现安全工作较少的当人工智能系统在智能上接近人类时，就金宝博官方像尼克·博斯特罗姆(Nick Bostrom)所说的那样奸诈转向情景．
我们也可以想象将人工智能安全工作外包给足够先进的人工智能系统，就像我们可以外包人工智能能力工作一样。金宝博官方然而，在我们可以委托相当数量的功能工作之前，很可能需要特别的努力才能达到这样的程度，即我们可以(安全地)委托各种安全任务。
总的来说，功能加速效应使得对其进行稳健的预测变得更加困难AI时间表．如果进步的速度是不连续的，那么高能力的人工智能系统可能会继续出现，直到它们被发明之前。金宝博官方这表明，等到先进的人工智能似乎即将到来时，才开始投资基本的人工智能安全研究是不明智的。金宝博娱乐
你喜欢这篇文章吗？你可以享受我们的其他分析的帖子,包括:
