Depue 称中国模型用了禁运芯片:报告自己承认的限制,推文里都没了
前 OpenAI 研究员 Will Depue 11 月 12 日发推,称找到“确凿的取证证据”:DeepSeek、月之暗面、MiniMax、蚂蚁“用被禁止出口中国的 Blackwell 芯片打造了最新模型”,涉及“超过 5 亿美元”的禁运芯片,“出口禁令显然在严重失效”。
问题在于,这些结论大多不在他自己的报告里。报告承认的几条关键限制,到了推文里全不见了。X 用户 Daebak 앤디(@MyDaebakCafe)当天发长帖逐条拆解,他说:“指望没人读过标题,华盛顿的舆论就是这么制造出来的。”
【指纹只管“第 0 步”】
Depue 找到的,是模型训练开始前那一刻留下的痕迹:训练前要先往模型里填一批随机数,不同芯片填出来的排列不一样,部分排列训练后还留着。
@MyDaebakCafe 也承认这个方法本身没问题,能看出生成初始权重的那台机器是 Blackwell。但他指出,报告原文写的是,这些痕迹只说明权重“怎么创建”,“支持、但不能证明” Blackwell 参与了训练。在他看来,初始化几秒钟就能做完,完全可以在租来的一台机器上生成,再搬到老一代芯片的集群上训练。
Depue 后来回应说,Kimi K3 的初始权重由几十个进程同时生成,更像是整个训练集群在启动,单独生成再搬运说不通。这是他的推断,报告里仍然写着“不能证明”。
【“5 亿美元”不是指纹算出来的】
@MyDaebakCafe 的第二个要点是,几千张卡、5 亿美元这些数字,跟指纹没有关系,Depue 在推文里自己用的词就是“估算”,依据是发布时间和模型参数。
报告写得更清楚:估算依赖芯片效率、训练数据量、训练时长几项“权重无法证实”的假设,作者“对这些估算没有把握”,而且报告发布当天就改了一轮数字。推文里“很可能数十亿美元”,报告没有给出任何算法。
【芯片在哪、合不合法,一概不知】
报告执行摘要最后一句承认,证据“不能说明芯片在哪、怎么拿到的、是否违反出口管制”。@MyDaebakCafe 提醒,Depue 自己的验证也是在租来的云端 GB200 上做的;他说,不在美国实体清单上的公司,在新加坡、日本、中东的云上租 Blackwell,按美国商务部现行规则完全合法,留下的指纹一模一样。
Depue 在推文里也承认芯片可能是境外租的,称之为“国会还没堵上的漏洞”。走私涉嫌违法,境外租用至多是规则漏洞,性质完全不同。Depue 分不清是哪一种,却直接得出“禁令严重失效”。
【其他网友的质疑】
网友 @dodecagonism 指出,报告收了 11 月发布的 Kimi K3.1-Pro,却没把 DeepSeek 9 月发布的最新模型 V4.1-Flash 列进结果,“看起来是故意把方法不适用的模型都排除掉”。报告“局限”一节写了 V4.1-Flash 没找到任何指纹,推文只说四家的“最新模型”用了 Blackwell,对此一字没提。Depue 回应说,这说明方法不会对谁都报 Blackwell,DeepSeek 可能换了生成初始权重的方式;随后又发帖说“可能破解了,看起来像是英伟达”,目前还没公布结果。
网友 @dfranke 认为,报告所有惊人的结论都建立在“用哪种芯片初始化,就用哪种芯片训练”这个假设上,而报告自己就发现,有些模型的初始权重是在普通 CPU 上生成的,说明这个假设并不总成立。Depue 回应说,那是训练程序先在本机 CPU 上生成、再拷到本机显卡,跟跨集群搬运是两回事。
@MyDaebakCafe 在后续帖子里还提出,中国大厂用的是自己改过的训练框架,如果某段自定义代码把布局写死,用老芯片也能留下同样的痕迹。这一条 Depue 没有直接回应。
【谁来背书,为什么是这天】
推文说结果“经过 OpenAI 和 Anthropic 资深研究员独立验证”,报告里没有一个名字。当晚 Depue 又说,私下验证的人大多不愿具名。
@MyDaebakCafe 质问:为什么偏偏在 11 月 12 日、黄仁勋辞去英伟达 CEO 的当天发布?他的解读是,美国闭源模型公司眼看付费 API 的生意被免费的中国开源模型蚕食,这份报告正好递给华盛顿鹰派一个理由,去管控全球云算力、打压开源 AI。
动机属于他的推测,但有几件事是公开的:OpenAI 和 Anthropic 都指控过中国实验室“蒸馏”自家模型,Anthropic CEO Dario Amodei 专门发文支持收紧对华芯片出口;Depue 说发布前和官员通过信;发布约 40 分钟后,他又发帖为自己的新机构 Unemployment Labs 募资 500 万美元。匿名验证者来自利益相关方,发布者也有自己的诉求,这样的结论需要独立复现,目前还没有具名的第三方公布结果。
中国驻美使馆 2 月回应美国官员的同类指控时说,反对“泛化国家安全概念、滥用出口管制、把经贸科技问题政治化”。截至 11 月 13 日,四家公司和英伟达还没有回应这份报告。
Depue 原推:
Depue 报告:
@MyDaebakCafe 原帖:
unemploymentlabs.com/checkpoint-for…
will depue@willdepue
我有一项重大成果要分享。
我已找到确凿的取证证据,证明中国排名前四的 AI 实验室——DeepSeek、Moonshot、MiniMax 和蚂蚁集团——都是基于 NVIDIA 最先进的 Blackwell 芯片构建其最新模型的,而这些芯片是被禁止出口到中国的。
这听起来很疯狂,但我发现几乎每一个 AI 模型都带有训练它的 GPU 的隐藏特征。模型在首次构建时,其权重的初始值会按照一种取决于具体 GPU 的特定模式排布。每一种 GPU 与随机种子的组合都会产生独特的模式——这相当于创建该模型所用硬件的一种指纹。这种模式的痕迹会穿过训练过程,一直保留到最终发布的模型中。
这份证据同样并非基于任何内幕消息或泄露。它基于对各公司自己发布的模型权重所做的取证分析。
我搜索了超过六万亿种芯片布局与种子编号的组合,并将它们与开放权重模型进行匹配。由此,我找到了确凿证据,证明包括 DeepSeek-V4-Pro、Kimi K3 和 MiniMax-M3 在内的六款中国 AI 模型是在 NVIDIA Blackwell 系统上完成初始化的。其中四款模型与 Grace Blackwell 匹配,即 NVIDIA 旗舰级液冷机架式系统中的 GB200 和 GB300 部件。
随后我在真实硬件上验证了这些结果。用我恢复出的随机种子运行未修改的 PyTorch,一台 Blackwell B300 逐位复现了 DeepSeek-V4-Flash 未改动的初始权重,而一台租用的 GB200 复现 Kimi K3 的相关性达到 0.999995。一台 Hopper H100 则完全无法复现 DeepSeek-V4-Flash 的初始权重,把种子改动一个数就会导致匹配失效。(顺带一提,DeepSeek 的种子是 953049583。)该方法还被验证能够将 24 个已知开放权重模型与开发者声称使用的硬件对应起来。
这些结果极不可能是巧合。在六万亿种组合中,最佳的偶然匹配也只能达到约 8 sigma(即比随机偶然产生的结果高出八个标准差)。而真正的匹配范围从 49 sigma 到 1,385 sigma,即便是最弱的单项测试也达到了 20 sigma。
这些属于数据中心规模的训练运行。结合对发布安排和模型细节的一些分析,我估计其中规模最大的 Kimi K3 和 DeepSeek-V4-Pro,各自使用了 2,000 至 3,000 块 Blackwell GPU。这一规模的集群,每套采购成本约为 1.5 亿至 2 亿美元;仅这几家实验室加起来,出口管制 GPU 的投入就会超过 5 亿美元,这还没有计入实验性算力或其他方面的支出。我们很有可能看到在出口管制 GPU 上出现数十亿美元级别的支出。
我对这一结果高度自信,并已获 OpenAI 与 Anthropic 资深研究员独立验证
我对这一结果高度自信,并且它已获 OpenAI 与 Anthropic 的资深研究员独立验证。你可以在以下地址阅读完整报告:
%%IMG1%%
通过这类检查点取证(checkpoint forensics)方式,我还发现了关于这些模型的更多信息,之后会继续分享。
unemploymentlabs.com/checkpoint-for…
