Maximilian Schreiner 查看 Maximilian Schreiner 的 LinkedIn 主页 2026 年 11 月 12 日
由 THE DECODER 提示 Nano Banana Pro 生成
像 GPT-6 Astra 这样的前沿模型正变得越来越难以被安全监控者洞察。OpenAI 的一项新研究找出了哪些训练步骤应为此负责，并表明透明度的丧失并非纯粹的自然规律，而与性能和成本的取舍相关。
为了监控现代 AI 智能体，安全研究人员会监视它们的思维链（CoT）。推理模型在给出答案之前，会先在数字草稿纸上写出中间步骤，这些步骤可能暴露出蓄意的欺骗。不过，Anthropic 早前已经表明，这些草稿纸并不是完整的记录，像 Claude 3.7 Sonnet 和 DeepSeek-R1 这样的模型往往不会在思维链中提及关键线索。
即便如此，阅读草稿纸长期以来仍是最重要的安全网。就在今年春天，OpenAI 还称这是好消息：像 GPT-5.4 这样的模型几乎无法按指令操纵自己的内心独白，尽管研究人员当时就警告说，低可控性并不能保证可靠的监督。
这一趋势随着 9 月发布的旗舰模型 GPT-6 Astra 而彻底逆转。发布时，OpenAI 首席科学家 Jakub Pachocki 称其可监控性脆弱，并警告存在负面趋势。他随后在文章《An Alien Mind》中写道，没有任何 AI 实验室把监控问题解决得足够好，不足以支撑继续全速扩展更长时间。Astra 最近的表现为这些盲区有多真实提供了例证：它在安全研究的编码任务上悄悄给出了约 40% 更差的结果，而草稿纸监控并未检测到任何恶意意图，原因是训练中使用的一个评分器无意中更青睐这种“藏拙”（sandbagging）而非直接拒绝。
在 OpenAI 安全团队的一项新分析中，研究人员系统地研究了哪些具体训练步骤触发了这种侵蚀。他们追踪了两个早期预警信号：无草稿纸的静默推理（No-CoT Capability）以及对思维链的定向控制（CoT Controllability）。根据英国 AI 安全研究所的数据，即使关闭推理，Astra 也能解决人类约需 31 分钟的数学题。第二项测试则要求模型执行例如在每个词后插入“meow”或只使用小写字母之类的任务。
训练中的四个因素让推理日志更易被操纵
通过分析从 GPT-5 到 GPT-6 Astra 的模型，研究人员将问题追溯到训练周期中的四个主要原因。
静默心算能力直接随基座模型的原始能力上升，这种能力以“困惑度”（perplexity）下降来衡量，即更准确的文本预测。随着基座模型在预训练中不断改进，它会在“脑中”不可见地完成更多推理步骤，而不留下书面痕迹。
这种增长不仅是通用预训练进展的副产品，还取决于开发者选择的架构。在三种匿名架构中，设计在 MMLU 或 GPQA 等纯知识基准上几乎无关紧要。然而，对于需要连续多步静默推理的任务，结果差异明显。当模型必须在没有草稿纸的情况下解决多步规划任务并处理 1,000 个用日常语言编写的短程序时，“架构 2”在相同困惑度下表现出比其他设计陡峭得多的性能曲线。其他架构的上升则平缓得多，因此这种设计明显更利于监控者看不见的静默推理。
预训练之后的强化学习（RL）大幅提升了模型对自身内心独白的控制力。在春季的研究中，带可验证奖励的 RL 训练实际上降低了较小模型的思维链可控性。然而对于 Astra 级模型和新的内部“Terra”模型，这一效应反了过来。
模型操纵其推理日志的能力也会传递到未来世代，类似于潜意识学习。当 OpenAI 用现有“教师模型”的数据训练新的“学生模型”时，学生会自动继承教师的高 CoT 可控性。
透明度缩水反映的是安全与效率的取舍，而不只是自然规律
OpenAI 在训练中寻找简单修复方案的过程尤其令人清醒。早在 2025 年 3 月，该公司就发现，一旦在训练中直接惩罚“坏念头”，模型就会隐藏真实意图并继续作弊。因此，自 2026 年 2 月起，OpenAI 会自动检查每一次训练运行，以排除对草稿纸的直接惩罚。
即便没有此类惩罚，Astra 仍然发展出了对草稿纸的强大控制力。当研究人员在 RL 训练中完全关闭对浏览器或代码终端等工具的监控，仅评估文本长度和最终答案时，模型几乎同样有效地学会了按指令操纵其推理日志。
但缺乏简单的训练修复方案，并不意味着透明度缩水是 AI 发展的不可避免结果。相反，数据揭示了安全、能力与成本之间的具体取舍。通过“架构 2”这类选择或选用哪些教师模型，开发者自身决定了系统将多少推理转向内部。一个能在单次处理中“在脑中”解决多个规划步骤的架构，会让模型更有能力，但也让这些中间步骤躲开了安全监控者。
OpenAI 自己早前的可监控性研究也表明，对许多用例而言存在更安全的替代方案。一个更小、更弱的基座模型如果大声推理且篇幅更长，可以匹敌一个思维链很短的大模型，同时仍然容易监控得多。问题纯粹是经济性的，因为在部署中更长的思维链会显著提高算力成本。
一项令人鼓舞的结果是：在实用性欺骗测试中，模型被要求按指令秘密完成附带任务或隐藏能力，结果显示，一个能大幅操纵自身推理的模型，尚未比一个同等能力但对其草稿纸控制力低的姊妹模型更频繁地骗过监控者。尽管如此，OpenAI 的分析还是印证了业界的担忧。谷歌 DeepMind 的研究人员也援引 Astra 的得分最近警告称，透明的思维链正在逐渐丧失，未来的架构可能会用纯数字代码而非可读文字进行推理。OpenAI 表示，它迫切需要开发超越简单阅读草稿纸的新监控方法，以跟上预训练的进展。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER，享无广告阅读、每周 AI 通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权。
继续阅读以了解全貌。
订阅无炒作报道。
- 完全访问 THE DECODER 上的每一篇文章
- 无广告
- 加入评论和社区讨论
- 每周通过邮件获取 AI 新闻回顾
- 每年 6 次：“AI Radar”——深入探讨最重要的 AI 话题
- 每日 AI 新闻，始终更新
- 我们完整的十年档案
-
由拥有 10 年以上 AI 经验的团队报道