尽管大量注意力都集中在 Anthropic 周一在修订版 S-1A 中披露的更新财务数据上（营收在飙升，但支出同样在飙升），这家 AI 实验室却在细则中抛出了另一枚小小的重磅炸弹。

这份文件似乎在警告：公司正处于创造一种具备递归自我改进（Recursive Self-Improvement，简称 RSI）能力的模型的临界点。

RSI 指的是这样一个节点：AI 在训练自身方面变得如此擅长，以至于引发 AI 能力的急剧加速。对 AI 末日论者而言，RSI 代表着无法回头的灾难——AI 将自身构建得足够强大，从而脱离人类控制，并且在实现自身目标的过程中可能对造成的损害漠不关心。

对 AI 拥趸而言，RSI——或者说某种 AI 可靠地利用自身来实现改进的版本——代表着这项技术的承诺：它将成为一种带来难以想象的生产力、科学发现乃至更多的工具。

Anthropic 似乎认为 RSI 既是承诺也是危险。它在 S-1 中表示，自己在研发中使用 AI，但同时也警告称：“使用 AI 来帮助构建能力更强的 AI 也可能带来相当大的安全风险，尤其是如果它急剧加速了进展速度。这是我们《负责任扩展政策》（Responsible Scaling Policy）所涵盖的领域之一，该政策阐述了我们在接近所谓的‘递归自我改进’时监控和缓解风险的计划。”

当 RSI 一词在今年早些时候流行起来时，许多人认为它只是一个流行词，或者往好了说，是一个过于难以实现、定义或证明的目标。

但在周一，Anthropic 在其风险因素部分新增了陈述，称：1）它已经利用 AI 开发出能力跃升的新模型，而当时它并未意识到这种跃升；2）它可能很快就会达到其内部对 RSI 的定义（以下加粗强调为我们所加）：

此外，我们越来越多地使用 AI 系统来加速自身的研发，这可能使我们模型的能力提升速度快于我们开发、验证和实施相应安全、对齐与安保措施的能力。因此，我们过去未能识别、未来也可能无法识别我们开发速率的显著加速，直到它已经发生之后才察觉。

例如，我们内部的估算以及对未来模型的预期——而非我们当前的模型——表明我们可能即将达到《负责任扩展政策》对‘归因于 AI 的急剧加速进展’的定义。 我们尚未将任何当前模型认定为超过这一阈值，并且我们仍在评估底层数据。

不过，Anthropic 也在文件中表示，其模型目前均未跨过这一 RSI 阈值，并承诺在可预见的未来仍将人类保留在研发流程中。"我们不认为，在缺乏有意义的人类监督或理解的情况下，能够安全地使用 Claude 完全自主地设计和构建一代又一代的前沿模型——即便这在技术上成为可能。因此，我们正在考虑更新我们的《负责任扩展政策》（Responsible Scaling Policy），以确保在 Anthropic，前沿模型的开发始终由人类掌控。"

怀疑者可能会指出，S-1 文件兼具披露与营销双重功能，而声称已接近拥有一个强大到能自我构建的模型，或许属于后者。

尽管如此，毫无疑问，Claude 的能力——尤其是在编程、数学和网络安全方面——今年取得了长足进步。如果 Anthropic 认为 RSI 的可能性已近在眼前，也许我们应该相信它并采取行动——或许还应据此进行治理。