Claude AI 对费城警方说：“我可能有与本案相关的情况。”

Anthropic 公司和费城警方于周五确认：Anthropic 的一款 AI 模型向费城警方提交了一条关于一桩未破凶杀案的虚假线索。

事件发生在 7 月 18 日，一款 Claude 模型向费城警察局的"未破凶杀案信息提交"网站发送了这条虚假线索，但被垃圾信息过滤器拦截。Anthropic 据称在 9 月 28 日发现了这一事件，并于 10 月 8 日通报给了警方。

在内部测试中，Claude Haiku 4.5 被指示去填写各类表单，一直填到最终提交前的最后一步，并在提交前停下。Anthropic 在一份描述"我们在评估和内部使用 Claude 过程中观察到的非预期模型行为"的报告中写道："Claude 多次误将表单直接提交了，因为它以为后面还会有一个确认页面。"

Anthropic 表示，这条虚假的凶案线索发生在 Claude Haiku 4.5 被指示在随机选中的网页上完成任务的过程中：

在某一次运行中，模型进入了一个提及未破凶杀案的页面；该页面包含一张由警察部门管理的线索表单。Claude 收到的指令是不得登录、不得创建账户、不得填写个人数据、不得进行购买，也不得提交任何具有破坏性的内容，但指令并未明确排除表单提交。于是 Claude 用以下内容填写了表单："我可能有与本案相关的情况。我记得在那段时间，在[页面中提到的街道]附近见过一名与描述相符的人。如果这条信息有用，请与我联系。"

Anthropic 表示，公司还发现了 Claude 在州一级和联邦一级机构网站上发生的事件。据报道，在其中一起事件中，Claude 向美国国务院提交了"申根及美国签证申请"相关表单共 20 份。

警方称长达两个月的延迟"不可接受"

Anthropic 确认，这条虚假的凶杀案线索确实发给了费城警察局，而该局就此事向费城的 ABC 电视台发布了一份长篇声明。该条虚假线索的姓名和联系信息栏均为空白。警方称，由于提交线索时生成的电子邮件最终进入了垃圾邮件文件夹，因此该线索未经过任何人工审阅。

警方称："Anthropic 告诉费城警方（PPD），公司在 9 月 28 日发现了这一事件，已终止负责此次提交的自动化测试流程，并为今后的测试新增了一道验证机制。"在 10 月 8 日的通报会之后，警方"在网站的线索记录中找到了这次提交，并确认对应的电子邮件仍处于垃圾邮件中。"

Anthropic 表示，公司是在"技术审查一完成就立即"通报了警方。警方则批评 Anthropic 没有更早发现并上报这条虚假线索。

费城警方声明称："费城市政府高度重视此次事件。该公司必须加强其安全防护，以防止类似事件在市政府不知情的情况下影响到城市系统。从发现到向市政府报告长达两个月的延迟是不可接受的。"

Claude 向美国国务院提交了 20 份签证申请

Anthropic 表示，这条虚假的凶案线索只是多起事件中的一起，涉及“由联邦、州和地方政府机构运营的网站。我们已就这些案例向白宫进行了汇报，并通知了涉及的每一个机构”。

《纽约时报》援引匿名消息源的报道称，Anthropic 的 AI 智能体“通过美国国务院网站上的一份表格提交了 20 份签证申请。所有这些申请都不完整，也未被受理”。

费城警方表示，其常规调查流程“要求在任何线索被分发以供调查跟进之前，必须经过人工审查与甄别……这些 PPD 的安全措施限制了本次事件的影响。但它们并不减轻一个 AI 系统将捏造的信息伪装成来自凶案知情者所带来的严重性”。

Anthropic 表示，公司是在一次对话记录审查工作中发现了这条虚假线索以及其他事件的，该审查工作始于 7 月。也正是在 7 月，Anthropic 披露 Claude 构建并发布了一个恶意的 Python 包，并对其他公司实施了几起攻击。

Anthropic 表示，审查并未发现“任何与我们今年夏天所报告的网络安全事件同等严重的事件”。随后，审查范围扩展到涉及“较低风险”的测试场景，例如影响到费城警方的那一起。

Anthropic 表示：“尽管这些行为的影响很小，并且我们已经对部分高风险与网络安全评估关闭了实时联网访问，但我们现在决定将这一举措扩展到所有内部评估，直至我们确认我们的安全与监控措施……能够可靠地拦截此类行为。”

Anthropic 表示新工具可拦截非预期行为

Anthropic 表示，公司已停止运行部分评估，并将其他评估迁移到离线版本，“或者重建它们，使任务不会触及真实的网站”。公司“更新了部分联网工具的安全护栏，例如网页获取工具，以严格限制模型能够借助它们执行的操作”。

Anthropic 表示，公司还构建了新工具，“用于自动检测并阻止上述行为……当我们针对本帖中所描述的案例进行测试时，它成功拦截了所有这些案例”。

白宫人工智能工作组（其自称“超级智能工作组”）发表声明称，已告知 Anthropic“我们要求其立即向涉及的机构及公众保持完全透明”。

据 Axios 报道，白宫人工智能工作组还要求 Anthropic 必须“立即向受影响的机构以及任何受到伤害的美国人提供补救服务”，并要求所有 AI 公司“必须立即披露涉及其模型的事件，并迅速、果断地采取行动补救任何及所有伤害”。