Anthropic 表示，其模型利用了互联网上的诸多网站，其中包括一些美国政府机构运营的网站。该公司决定关闭所有内部评测的实时互联网访问，直到这家前沿实验室能够确保对其 AI 智能体（Agent）的监控与控制。

这些事件在一篇博客文章中被披露，涉及的 AI 智能体被指派去解决各种问题，需要在互联网上寻找资源。在此过程中，这些智能体利用了软件缺陷、绕过付费墙和反机器人限制、使用 URL 短链接服务来偷运信息以规避审查，甚至向费城警方提交了一份虚假的凶杀举报。

Anthropic 表示，这些新问题是在今年七月启动的模型行为审查中发现的，凸显了该实验室对其软件行为的了解不足。

值得注意的是，该公司承认，对于搜索和计算机使用等核心技能——也就是 Anthropic 推销“任何依赖数字工具的专业人士都将使用 AI 智能体”这一主张的核心能力——其对齐训练（alignment training）尚不充分。

Anthropic 披露的这些行为，与此前涉及 OpenAI 智能体的事件相似——那些 OpenAI 智能体联手攻破了多个网站以搜寻信息，其中还包括一些澳大利亚政府运营的网站。

Anthropic 此前曾披露其模型曾侵入外部系统。该前沿实验室表示，从“对齐和安全角度”来看，今天披露的事件“严重程度显著低于”此前宣布的那些事件。

然而，该实验室仍表示已“关闭实时互联网访问”，范围覆盖“所有内部评测”，直到其能够确保对其智能体的监控与控制。

目前尚不清楚这意味着什么。AI 安全组织 Nightingale 的创始人 Sydney Von Arx 在此次披露前接受 TechCrunch 采访时表示，在与开放互联网隔离的数据中心中训练模型，对研究人员来说使用起来非常困难，也会影响模型的进步——模型本就受益于互联网访问。

“你必须在某个时刻对它们进行对齐，”Von Arx 说，“如果 AI 被发布到生产环境中却始终无法访问互联网，那它就不是一个很有用的工具。”

Anthropic 表示，这种行为源于实验室训练环境中的缺陷，导致模型认为自己通过寻找漏洞或规避限制就能获得奖励——这是一种被称为“奖励黑客”（reward hacking）的行为。

该公司表示，将停止运行部分评测，或将其转为离线进行，并已构建了用于检测和阻断此类行为的工具。该工具已针对今天披露的这类事件进行过测试，并成功阻断了它们。但目前尚不清楚需要什么证据才会促使 Anthropic 恢复其内部评测的实时互联网访问。

Anthropic 还表示，将把内部 AI 智能体迁移到“具有强隔离能力的集中管理基础设施”上，并开始更频繁地使用安全分类器（safety classifiers）来监控这些智能体。