Anthropic 警告:小型 AI 模型可能通过物联网设备自我复制
所谓的「基于权重的小型复制器」可能会催生新一代计算机蠕虫。
AI 公司 Anthropic 近日发出警告:随着小型 AI 模型的不断进步,一类能够自我复制的新型恶意软件可能很快出现。这类恶意软件能够感染智能冰箱、扫地机器人以及各种各样的物联网设备,并且更加难以被彻底清除。
Anthropic 表示,到明年(即下一年),更小型的 AI 模型或许就能在各类物联网设备上自主完成自我复制。长远来看,这一能力还可能被用来制造计算机蠕虫——这种蠕虫无需人工干预就能传播,并且能够感染此前从未接触过的物联网设备。Anthropic 最近进行的一项实验显示,要把这样一种由 AI 驱动的恶意软件复制器真正做出来,仍面临相当大的困难,因此该结论也必须加以审慎看待。但相关结果确实让人担忧:一种新型计算机蠕虫有可能成为现实。
难以关停
Anthropic 不仅就这种新的潜在恶意软件发出了警告,还指出它可能难以被阻止。该公司在博文中写道:"这样的复制器将很难被关停,因为并不存在一个可以集中关闭的节点——尽管其传播速度可能很慢(倍增时间以天计)。与非人工智能驱动的恶意软件不同,它还能自行识别陌生的设备。"
相比前沿大模型,运行小型 AI 模型所需的硬件算力要低得多。Anthropic 在真实的或模拟的低成本、非品牌 Android 电视盒子以及其他类型的物联网(IoT)硬件上运行了小型开源权重模型。公司研究人员发现,通过使用量化(quantization)技术以更少的比特表示模型,并将工作负载拆分成在每台设备上运行的"分片(shard)",这些模型得以成功建立推理(inference)——即模型权重被加载并能够生成输出。
轻量级的 Gemma4-26B-A4B 模型仅需 15 台盒子,每台仅配备 4GB 内存,即可实现推理。Qwen3.5-9B 则能够在九种硬件类型中的八种上,配置其他大语言模型运行。与必须针对特定硬件或软件编写的传统恶意软件不同,该模型能够利用其权重,针对所测试的设备即时(on the fly)做出定制化的配置。
这一发现成为进一步研究的起点:小型模型是否有可能像传统物联网蠕虫(如 Mirai)那样,在物联网设备上安装 DDoS 代码及其他载荷,从而创建出可自我复制的感染链?与 Mirai 不同,这些 AI 蠕虫可能构成更大的威胁,因为这些模型可以根据目标动态定制漏洞利用与载荷。一旦这样的感染链开始运转,防御者阻止它的难度也可能更大。
Anthropic 表示:"这样的'AI 蠕虫'在自我复制的过程中,可以随身携带其模型权重(或者从公共仓库重新下载),然后直接在受感染的硬件上运行推理。"Anthropic 称:"实际上,权重本身就成了恶意软件载荷的一部分。"
Anthropic 将这些自主蠕虫称为小型权重型复制器(small weight-based replicators)。这些模型运行的智能体可以访问常见的渗透测试工具,例如反弹 shell。攻击流程包括:(1)发现目标,(2)获取代码执行权限,(3)建立推理,(4)向新主机传播。相比传统蠕虫,一个关键优势在于 Anthropic 所指出的智能体在工作中学习的能力:每当 AI 复制器未能攻陷某个特定的平台设备时,它可以留下一份提示词、代码与备注清单给后续的复制器,避免它们浪费时间重蹈覆辙。
Anthropic 表示,动态推理的建立(dynamic inference setup)是整个复制周期中研究最少、也可能最具挑战性的阶段。它需要针对每个目标的具体硬件与软件,做出一连串长链决策,包括选择兼容的推理软件、安装依赖项以及调试平台特有的 bug。
Anthropic 称:"这些步骤是串行依赖的,一旦失败便很难恢复。"
实验表明,小型模型正日益具备自主解决上述问题的能力。然而在目前阶段,受测的轻量级模型都还无法完成端到端的复制——即发现新设备、利用漏洞取得访问权限、用载荷感染它们、配置推理服务器,然后重复整个流程。这一过程也极其缓慢:在 15 台 Android 电视盒子上分布式运行的 Gemma4-26B-A4B,性能仅为每秒 0.39 token。这意味着,未优化的 Gemma4-26B-A4B 完成一次完整推理搭建需要 71 至 150 小时,Qwen3.5-9B 则需要 29 至 51 小时。(研究人员表示,看起来大型模型 GLM-5.2 能够可靠地完成这一流程。)
该公司指出,300 亿(30B)参数级别的模型如今已经能够完成许多独立的复制步骤,尽管在执行端到端复制时仍会犯错。公司进一步表示,如果小型模型继续以当前的步伐改进,它们有望在今年年底前达成同等水平的有限成果,并且"小型权重型复制器在不久的将来就有可能出现"。
该实验留下了诸多重要的待解问题。首先,小型模型所攻击的 Android 设备暴露了未经验证的 Android Debug Bridge(Android 调试桥)。该工具用于开发与调试阶段,绝不应在生产环境中使用,因为它会让攻击者访问整个设备栈。其次,复制过程并非由小型模型本身执行,而是由 GLM-5.2 进行编排,同时让目标设备运行较小的 Llama 模型。
归根结底,实验证明了小型智能体模型正日益具备跨多台机器搭建复杂、分布式推理基础设施的能力。然而仍有待确认的是:这些模型是否会主动发起自我复制。
AI 研究员 Xiaohan Fu 在一次采访中表示:"尽管实验设计精良,但该研究本身并未证实小型模型会自主选择进行复制。提供可复现的智能体设置,包括给到模型的具体提示词与指令,将有助于研究界更好地理解这些发现并评估其影响。这种透明度对于避免将'已被证明具备的复制能力'与'自主自我复制的现实威胁'混为一谈,尤其重要。"