执行摘要

“我觉得关于神经网络的本质，我有个好消息。”AI 初创公司 Goodfire 的研究员尼克·坎马拉塔（Nick Cammarata）用这句乐观的话，开启了一篇长达 26,000 词的博客文章。这篇文章把 AI 界搅得天翻地覆，既引发了狂热的猜测，也引来了谨慎（以及不那么谨慎）的欢呼。

坎马拉塔的主张是：LLM（大语言模型）实际上可能远比人们此前认为的更容易理解，因而也更容易监控和控制。如果这一主张成立（我们后面会再回到这一点），那将是件大事。

刚刚过去的这个夏天充满了各种爆料：OpenAI、Anthropic 等顶尖公司打造的智能体（agent）成群结队地突破约束，在公共互联网上大肆破坏，而这些公司往往并不知道自己的智能体在干什么。正因如此，AI 行业迫切希望更好地掌控自己造出来的技术。

这也是这篇博文引发如此巨大反响的原因之一。一位 AI 研究员在 X 上发帖说：“我觉得这可能会被铭记为科学史上的一个重要时刻：我感觉自己对神经网络的理解一下子被推进到了五年后的未来。”另一位研究者则称它是“今年最重要的 AI 论文”。

然而，并非所有人都被说服。斯坦福大学的克里斯·波茨（Chris Potts）领导着一个试图理解 LLM 工作原理的团队，他说，坎马拉塔分享的东西不过是一种直觉猜测。“据我所知，这篇博文并没有让任何问题变得更容易，”他说，“我本来根本不会想到要说这种话，但社交媒体上一些非常有名望的人似乎认为，这是一个包罗万象的突破。”

在博文爆火后的第二天，我与坎马拉塔聊了聊。他说自己对这种反应感到意外：“我没想到人们会那么大幅度地更新[自己对 AI 的认知]。”

“我真的非常喜欢观察神经网络，”他说，“说实话，我真的很喜欢做这件事。看了很多之后，我有了一个充满希望的故事。”

缠结的网络

长期以来，人们一直认为神经网络内部的机制——也就是支撑大多数 AI 模型的软件——非常难以、甚至不可能被完全拆解。这是因为网络在训练时，似乎会形成奇怪而纠缠的结构，对人类来说毫无意义。研究人员喜欢说，如今的 AI 像花园一样被培育出来，而不是像桥梁一样被建造出来。

在确立这一观点上，Cammarata 的贡献超过大多数人。他此前在 OpenAI 工作，帮助开创了一些让研究人员得以窥视模型内部的技术，包括能够探测单个神经元、看它们代表什么的小工具。这有点像神经科学家用 MRI 研究大脑。（MIT Technology Review 将这种方法——被称为机制可解释性——选为2025 年十大最热门技术之一。）

早在 2020 年，Cammarata 和同事就在研究一个小型图像识别模型，名为 Inception v1。当他们观察其神经元时，模型似乎是在用它们同时捕捉多个事物。例如，他们发现有一个神经元会对汽车图像和猫的图像都产生反应。

研究人员得出结论：该模型至少让一部分神经元多任务处理，也许是为了容纳更多数据。观察其他模型似乎也支持这一点。这一现象后来被称为叠加（superposition）：模型把不相关的概念折叠进单个神经元。结论很清楚：当你看向模型内部时，你看到的是一个巨大而纠缠的结。

因此，大多机制可解释性研究都集中在解开这个结的方法上。但尽管有少数突破，进展一直缓慢。如今的模型，例如最新的 LLM，规模庞大且复杂，研究人员一次只能理解极小的片段。该领域一些领军人物怀疑，是否有可能细致入微地理解一个 LLM。

Cammarata 就是其中之一。“我当时非常悲观，”他说。但后来他费心真正去看了看。