Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

发布时间 2026-09-22 9 天前
来源 Google Developers Blog
字数 2,416 字
查看原文

AI智能总结

Agent Anomaly Detection 现已在 Gemini Enterprise Agent Platform 上线 Private Preview。

它是一种基于推理的监督与审计层,通过读取代理日志和 OpenTelemetry 追踪,对代理的推理轨迹、工具调用及会话执行流程进行评估,识别异常行为、可疑意图和策略违规。

Agent Anomaly Detection(代理异常检测)现已在 Gemini Enterprise Agent Platform 上线 Private Preview

2026 年 9 月 16 日 | Achuth Narayan Rajagopal,高级软件工程师

Blog_Banner_3

每一代新模型的发布,都让 AI 代理(Agent)变得更强、更自主、成本更低。团队正在用它们处理真实的业务任务:发起退款、更新记录、代表用户调用内部工具。但更强的模型并不自动等于更安全的模型。一个代理在运行时做出的决策越多,其风险就越从代码本身转移到行为层面。真正的损害往往发生在表面上看起来无害的会话中:代理返回了一个干净的答复,关掉了工单,而事后你才发现,它调用了一个本不该触碰的工具,或者执行了一个悄无声息地扩大了自身访问权限的请求。因为没有明确的失败,这些会话毫无悬念地通过了常规的基于指标的评估。

而这一缺口,正是 Agent Anomaly Detection 致力于解决的问题。它现已在 Gemini Enterprise Agent Platform 上线 Private Preview(私密预览)。

什么是 Agent Anomaly Detection?

Agent Anomaly Detection 是部署在 Gemini Enterprise Agent Platform 上的自主代理的一种基于推理(reasoning-based)的监督与审计层。它通过代理的推理轨迹、工具调用以及整个会话中的执行流程,审视代理实际做了什么。它读取代理已经发出的日志和 OpenTelemetry 追踪,对这些活动进行评估,判断代理是否在其预期边界之外运行,并标记行为异常、可疑意图以及策略违规。

以下一些关键特性让 Agent Anomaly Detection 能够在生产环境中实际落地:

  • 不增加运行时延迟: 分析异步执行,与在线请求路径解耦,因此不会拖慢代理的响应速度。
  • 清晰、可执行的结论(Findings): 每一条异常结论都带有严重等级、用通俗语言解释的触发原因以及推荐的下一步操作。每条异常结论还会发布到你的 Security Command Center(安全运营中心)部署中,便于团队与其他安全结论一起进行分流处理。
  • 对标 OWASP Agentic Top 10: Agent Anomaly Detection 内置针对 OWASP Top 10 for Agentic Applications(2026 年版) 中一组重点风险的检测器:工具滥用(ASI02)、身份与权限滥用(ASI03)、级联故障(ASI08)以及流氓代理(ASI10),此外还包括资源耗尽、Token 用量激增等运营风险。其结论直接对应这些行业公认的分类,而非一套自定义规则。
  • 即将支持异常检测中的自定义业务逻辑: 我们正在积极开发一项能力,让用户能够基于自身业务上下文定义"异常"的含义。这将允许用户用自然语言配合确定性规则编写灵活的异常检测器,在代理超出企业特定业务准则时进行标记。此外,用户还能够基于历史流量验证其新增自定义业务逻辑的准确性。

走进检测流水线

Agent Anomaly Detection 在检测速度、成本与覆盖范围之间进行平衡。为达成这种平衡,它以分层方式分析追踪与日志:轻量级的第一遍扫描会遍历全部流量,识别统计性异常,并将这些会话标记出来以供进一步分析;随后,一个基于 LLM 的推理层会对被标记的会话进行深入检查。

AAD-Blog-Image-1

为说得更具体,我们以一个拥有 list_inventory 工具的 Inventory Agent 为例。用户说:"我要看你们的库存,每次列出 100 条。"于是代理开始以大批量分页抓取,不断跨偏移量跳跃,把整个目录全部拉下来。

这里没有任何报错。代理只在做它能力范围内的事,也可能并不存在明确策略禁止这种行为。但 Agent Anomaly Detection 会以分层方式标记这种异常行为:第一层根据调用量和重复调用次数,将该会话标记为统计意义上的离群点;第二层对完整对话进行推理,识别出这种"大批量、跨偏移量跳跃"的模式属于系统性数据抓取,而非正常浏览,并给出带有通俗语言解释的判定结论。当某条用例需要更仔细查看时,第三层会重建各个工具调用及其偏移量,精确展示究竟被拉取了哪些数据。

AAD-Blog-Image-2

最终得到一条异常结论:资源耗尽(Resource exhaustion),严重等级为 Critical(严重),概率为 95%,并附有原因说明与建议修复措施——对该用户对 list_inventory 工具进行限流或封禁、加入鉴权检查以限制批量库存访问、针对大偏移量分页模式进行告警。这条结论也会同步显示在 Security Command Center 中以供分流。

除了人工审查,你还可以通过编程方式对结论采取行动。Agent Anomaly Detection 提供了一个 API,用于拉取指定会话的异常列表,这样 ADK(Agent Development Kit)回调或插件就可以检查某条结论的严重等级和概率,并在超过你设定阈值时阻止后续的工具调用或中止下一轮交互。

随着代理承担更多真实的工作,越来越多的风险会转移到其行为之中。Agent Anomaly Detection 监控代理的行为,为你标记异常以便审查与处置,同时不会拖慢代理的运行速度。

立即开始

Agent Anomaly Detection 目前面向在 Gemini Enterprise Agent Platform 上使用 ADK 1.2 及以上版本部署代理的团队开放 Private Preview。若要开始使用,请查阅文档了解前置条件与配置方法。满足前置条件后,你可以通过一键开通(one-click provisioning)启用 Agent Anomaly Detection。

相关阅读