YouTube 哔哩哔哩

概览

要闻

• Google 全球开放 Gemini 4 Argon #1
• OpenAI 优化 ChatGPT 桌面应用存储占用 #2

模型发布

• Cat Jam 匿名编程模型免费上线 OpenCode #3
• Fish Audio 发布 Drama 3，开放模型权重 #4
• Liquid AI 发布 LFM2.5-24B-A2B #5

开发生态

• Command Code 推出 GOAT 限时额度优惠 #6
• MiniMax 入驻天猫，开售三档订阅方案 #7
• Antigravity 最高档向科研人员开放免费申请 #8
• Cursor 的 Origin 支持逾 20 项集成 #9

产品应用

• Google Play 新增私人应用功能 #10
• llama.cpp 推出 Windows 桌面应用 Llama Windows #11
• Arena 推出 Agent 版 Max 模型路由器 #12
• 阿里千问推出个人 Agent 千问 Go，限时邀测 #13
• 千问开售 N 系列 AI 眼镜及耳夹式耳机 #14
• 阶跃终端发布 STEPX Neo 先行版手机 #15

技术与洞察

• Anthropic 弃用 Git，自建版本控制系统 Scion #16
• AISI 发布开源评估工具 Transect，支持核查 Agent 活动分类 #17
• AA 新增缓存命中率与任务成本对比榜单 #18
• Google 展示 Gemini 4 Argon 机器人仿真与控制能力 #19

行业动态

• OpenAI 工程师涉在高管会议室窃听被捕 #20
• Manus 与 OPPO 合作，接入 ColorOS 17 #21
• Character.ai 申请破产保护，拟出售资产 #22
• Exa 宣布年化收入突破 1 亿美元 #23
• NVIDIA 与法国生态扩大 Agent 计算部署 #24
• IDC：英伟达中国 AI 芯片份额降至 34% #25

前瞻与传闻

• Anthropic 据称正谈大阪数据中心项目 #26
• 报道称字节 Seed 将成立安全与对齐部门 #27

要闻

Google 全球开放 Gemini 4 Argon #1

Google 已向全球开放 Gemini 4 Argon 模型。Google AI Pro 订阅用户可在 Gemini App 和搜索 AI Mode 中使用，Ultra 订阅用户额度更高，还能在 Antigravity 和 AI Studio 中使用。开发者可通过付费 API 调用。

Google 已向全球开放 Gemini 4 Argon。

Google AI Pro 订阅用户可在 Gemini App 和搜索 AI Mode 中使用；Ultra 订阅用户在这两处额度更高，还可使用 Antigravity 桌面 App 和 CLI，并在 AI Studio 中试用。

开发者需开通 Gemini API 付费层级，免费层级和 Pro 方案都不包含；企业可通过 API 使用，符合条件的 Gemini Enterprise 订阅也能使用 Antigravity。

API 优惠价为每 100 万输入、输出 token 2 美元和 10 美元，12 月 1 日起翻倍。

macOS 版 Gemini App 还内置了 Antigravity 编码界面。

相关链接：

• https://deepmind.google/blog/introducing-gemini-4-argon/
• https://ai.google.dev/gemini-api/docs/pricing
• https://antigravity.google/blog/gemini-4-argon-in-google-antigravity
• https://gemini.google/release-notes/

OpenAI 优化 ChatGPT 桌面应用存储占用 #2

OpenAI 团队成员 Tibo 表示，ChatGPT 桌面应用已优化本地状态数据在磁盘上的存储方式，预计可让该应用在磁盘上的存储量减少 60%。

OpenAI 的 ChatGPT 与 Codex 团队成员 Tibo 表示，ChatGPT 桌面应用已优化状态数据在磁盘上的存储方式。他预计，这项调整可将该应用在磁盘上的存储量减少 60%。此次优化回应了重度用户关于磁盘空间不足的反馈。

相关链接：

• https://x.com/thsottiaux/status/2110151780478927344

模型发布

Cat Jam 匿名编程模型免费上线 OpenCode #3

OpenCode 宣布免费开放匿名编程模型 Cat Jam，并承诺零数据保留。官方称，该模型专为 Agent 编程打造，运行速度很快。

OpenCode 宣布上线匿名模型 Cat Jam，用户目前可在 OpenCode 中免费使用。

官方称，该模型专为 Agent 编程打造，运行速度很快。

OpenCode 同时承诺，Cat Jam 采用零数据保留政策。

相关链接：

• https://x.com/opencode/status/2110068008945381853

Fish Audio 发布 Drama 3，开放模型权重 #4

Fish Audio 发布开放权重的文本转语音模型 Drama 3，支持用自然语言指导声音表演，还能在一句话中切换语气，控制单个词的表达。目前模型已上线网页端、手机 App 和 API，用户也可以下载权重自行运行。

Fish Audio 发布开放权重文本转语音模型 Drama 3，支持用自然语言控制情绪、节奏和声音，并将耳语、强调等表达限定到单个词。模型支持 83 种语言，已上线网页端、iOS、Android 和 API。

自行部署遵循 Fish Audio Community License v1.0，研究和非商业用途免费，用户及关联实体年收入低于 50 万美元时可免费商用，但向他人提供 TTS、语音克隆或推理服务/API 仍需取得许可。

截至 11 月 12 日，API 每百万字符价格由 50 美元降至 10 美元，新订阅 Plus、Pro 或 Max 订阅方案的首月或首年享 5 折优惠。

相关链接：

• https://fish.audio/blog/fish-audio-drama-3/
• https://docs.fish.audio/features/text-to-speech/drama-3
• https://huggingface.co/fishaudio/drama-3
• https://github.com/fishaudio/fish-speech/blob/main/docs/assets/Fish_Audio_Drama_3_Technical_Report.pdf

Liquid AI 发布 LFM2.5-24B-A2B #5

Liquid AI 发布了开放权重模型 LFM2.5-24B-A2B，支持在笔记本和 PC 上调用工具、完成多步任务。

Liquid AI 发布开放权重推理模型 LFM2.5-24B-A2B，面向端侧 Agent 的工具调用和多步任务，总参数为 240 亿，每个 token 激活 20 亿参数。相比前代，上下文窗口从 32,768 扩至 131,072 个 token，模型会在最终回答前输出显式推理过程。

基础版和后训练版权重已在 Hugging Face 开放，支持 llama.cpp、MLX、vLLM 等框架，也已上线 OpenRouter。

Liquid Console 的 API 定价为每百万输入 token 0.10 美元、缓存输入 token 0.05 美元、输出 token 1 美元。

相关链接：

• https://www.liquid.ai/blog/lfm2-5-24b-a2b
• https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

开发生态

Command Code 推出 GOAT 限时额度优惠 #6

Command Code 为 GOAT 订阅方案增加了 DeepSeek V4.1 Flash 限时额度，用户可在为期 3 天 的优惠期间获得 100 美元使用额度，优惠结束后该模型的额度将调整为 80 美元。

Command Code 宣布，GOAT 订阅方案中的 DeepSeek V4.1 Flash 在为期 3 天的优惠期间提供 100 美元使用额度，之后该模型额度将调整为 80 美元。GOAT 订阅价格为每月 10 美元，支持超过 30 个开放及闭源模型，额度因模型而异。

相关链接：

• https://x.com/CommandCodeAI/status/2110023209416630626
• https://commandcode.ai/docs/plans/goat

苹果计划 12 月在中国大陆上线 Apple Intelligence，跟 iOS 27.3 推出，没有新版 Siri，国行版用的是阿里巴巴的模型

据彭博社 Mark Gurman 报道，苹果准备在 12 月通过 iOS 27.3 更新，给国行 iPhone 开通 Apple Intelligence。苹果和监管部门都还没有正式确认。

能用到的，是 2024 年在美国首发的那批功能：通知摘要，写作工具（改写、校对、总结文字），照片里的“清除”（把路人和杂物抹掉），还有第一版 Genmoji（用一句话生成自定义表情）。部分 App 里的文字生成功能还会受限。

基于 Google Gemini 模型的新版 Siri 没有，今年发布的其他新功能也没有。苹果自己的图片生成工具 Image Playground、升级版 Genmoji、视觉智能同样不在首发名单里。Google 的服务在国内用不了，新版 Siri 缺席多半跟这有关，报道没有明说。

国行版用的是阿里巴巴的模型，获批的包括通义千问和通义万相。安全护栏是苹果和阿里一起开发的，里面有一道过滤机制：模型以后每次更新，都要先经过政府批准。百度则参与搜索和 Siri 相关的功能。

这事拖了两年。今年 3 月底，有国内用户发现 Apple Intelligence 突然能用了，随后 Gurman 说这是苹果误推，功能被撤了回去，苹果还在等审批。7 月，平台拿到初步批准。9 月 29 日，最近几款 iPhone 拿到支持 Apple Intelligence 的许可。

哪些机型能用，苹果还没公布。海外版需要 iPhone 15 Pro 及更新的机型；据报道，最新的获批名单里有下周在中国发售的 iPhone Duo、iPhone 18 Pro 和几款老机型。

Apple Intelligence 将随 iOS 27.3 于十二月登陆中国市场

Apple 即将在中国推出其人工智能功能套件 Apple Intelligence，预计时间节点为十二月，作为 iOS 27.3 更新的一部分。这一消息来自一位接近 Apple 中国业务的人士，向《The Information》透露了该时间表。

此次发布对 Apple 而言意义重大。Apple Intelligence 于 2024 年在美国随 iOS 18.1 首发，但中国市场一直是该公司在 AI 战略上的一个关键缺口。中国对外国 AI 服务设有严格的监管要求，迫使 Apple 必须与本地合作伙伴合作才能提供相关功能。

据报道，Apple 已与中国本土的 AI 公司进行了深入洽谈，以确保合规并提供本地化的体验。这一合作模式与 Apple 在其他受限制地区的策略一致，即根据当地市场环境选择最合适的合作伙伴。

如果时间表属实，中国用户将在不到两个月后迎来原生 AI 体验。这将是 Apple 在中国 AI 战略上的关键里程碑。

macrumors.com/2026/10/14/app…

如何使用 microsoft/OmniParser-v2.0

本资源提供了 microsoft/OmniParser-v2.0 在各类库、推理服务、Notebook（交互式笔记本）以及本地应用中的使用说明。请通过下列链接开始上手：

• 配合 Transformers 库使用 microsoft/OmniParser-v2.0 的方法

配置解析（Configuration Parsing）

警告： config.json 配置文件中的 JSON 无效（Warning: Invalid JSON for config file config.json）。

icon_detect_v3

📢 GitHub 仓库 ｜ OmniParser V2 博客文章 ｜ Hugging Face 在线演示

模型简介

OmniParser 是一个通用的屏幕解析工具，能够将 UI（用户界面）截图解释和转换为结构化格式，从而提升现有基于 LLM（大语言模型）的 UI Agent（智能体）的表现。其训练数据集包含两部分：

1. 可交互图标检测数据集：从流行的网页中采集，并通过自动标注来突出可点击和可操作的区域。
2. 图标描述数据集：用于将每个 UI 元素与其对应的功能关联起来。

本模型仓库分别收录了在该数据集上微调的 YOLOv8 版本与 Florence-2 base 模型的微调版本。此外，还包含 icon_detect_v3，一个基于 MIT 协议 YOLOv9-E 微调的可交互区域检测器，使用同样为 MIT 协议的 MultimediaTechLab/YOLO 实现（详见下文的「新增：MIT 协议检测器权重」一节）。关于所用模型及微调的更多细节，请参考 论文。

icon_detect_v3

V2 的新特性

新增：MIT 协议检测器权重（icon_detect_v3）

icon_detect_v3

原有的 icon_detect 权重是基于 YOLOv8 微调得到的，因此遵循 AGPL-3.0 许可证，这对许多下游使用者来说是一道门槛。本次新增发布 icon_detect_v3/model.pt，这是一个基于 YOLOv9-E、在同一份检测数据上微调的可交互区域检测器，并以 MIT 许可证 发布（见 icon_detect_v3/LICENSE）。

icon_detect
icon_detect_v3/model.pt
icon_detect_v3/LICENSE

该模型基于 YOLOv9-E，使用 MultimediaTechLab/YOLO 实现进行微调，而后者本身也是 MIT 协议。这正是此次重新以宽松许可证发布的根本原因：与 icon_detect 背后的 Ultralytics YOLOv8 代码库不同，新的训练代码以及由此产出的权重都不附带 AGPL-3.0 的约束。

icon_detect

将 icon_detect_v3 与 icon_caption 配合使用，就能得到一条完全采用 MIT 协议的 OmniParser 流水线。对于仍可接受 AGPL-3.0 的用户，icon_detect 也依然可用且未作改动。

icon_detect_v3
icon_caption
icon_detect

权重以自包含（self-contained）的 TorchScript 模块形式发布，因此推理时只需要 torch（运行时既不需要 ultralytics，也不涉及任何 AGPL 协议代码）：

torch
ultralytics

import numpy as np
import torch
from PIL import Image
from torchvision.ops import nms

IMGSZ = 1280
STRIDES = (8, 16, 32)
CONF_THRESHOLD = 0.05
IOU_THRESHOLD = 0.45

model = torch.jit.load("icon_detect_v3/model.pt", map_location="cpu").eval()

# 将截图按照长宽比缩放后填入边长为 IMGSZ 的方形画布（letterbox）。
image = Image.open("screenshot.png").convert("RGB")
width, height = image.size
scale = min(IMGSZ / width, IMGSZ / height)
resized = image.resize((round(width * scale), round(height * scale)), Image.BILINEAR)
canvas = Image.new("RGB", (IMGSZ, IMGSZ), (114, 114, 114))
canvas.paste(resized, (0, 0))

x = torch.from_numpy(np.array(canvas)).permute(2, 0, 1).float()[None] / 255.0

with torch.no_grad():
    outputs = model(x)  # 每个步长依次输出 (cls_logits, box_ltrb)

# 解析原始输出：类别 logits 需经 sigmoid；4 个 box 通道是相对
# 每个网格中心，以网格单位表示的 左/上/右/下 偏移量。
boxes, scores = [], []
for i, stride in enumerate(STRIDES):
    cls = outputs[2 * i].sigmoid()[0, 0]
    ltrb = outputs[2 * i + 1][0]
    grid = cls.shape[-1]
    gy, gx = torch.meshgrid(
        torch.arange(grid, dtype=torch.float32),
        torch.arange(grid, dtype=torch.float32),
        indexing="ij",
    )
    cx, cy = gx + 0.5, gy + 0.5
    left, top, right, bottom = ltrb
    boxes.append(
        torch.stack(
            [(cx - left) * stride, (cy - top) * stride,
             (cx + right) * stride, (cy + bottom) * stride], dim=-1
        ).reshape(-1, 4)
    )
    scores.append(cls.reshape(-1))

boxes, scores = torch.cat(boxes), torch.cat(scores)

keep = scores > CONF_THRESHOLD
boxes, scores = boxes[keep], scores[keep]

keep = nms(boxes, scores, IOU_THRESHOLD)
boxes, scores = boxes[keep], scores[keep]

# 将边框从 letterbox 后的画布坐标，映射回原始图像坐标。
boxes = boxes / scale
boxes[:, 0::2] = boxes[:, 0::2].clamp(0, width)
boxes[:, 1::2] = boxes[:, 1::2].clamp(0, height)

# boxes: (N, 4) xyxy 格式的原始像素坐标；scores: (N,) 置信度

注意事项：

• cls 与 CONF_THRESHOLD 的取值（0.05）沿用了 icon_detect 原本使用的 box_threshold（0.1）。如有需要，可在调用前对 CONF_THRESHOLD 与 IOU_THRESHOLD（分别为 box_threshold 与 iou_threshold）进行调整。注意：在 icon_detect 的原始处理流程中，还会对单张图中检测到的中心点坐标乘以 scale；本示例中已直接在线调整画布大小，因此无需再重复该步骤。

负责任 AI（Responsible AI）相关考量

预期用途（Intended Use）

OmniParser 旨在将 UI 截图解析为结构化表示，用以增强基于 LLM 的 UI Agent 在界面交互、自动化和辅助任务中的能力。其典型场景包括网页和桌面自动化、可访问性辅助，以及将 LLM 接入计算机操作以执行任务等。

局限性（Limitations）

• 模型对训练分布之外的应用、操作系统或 UI 风格的泛化能力可能有限。
• 检测精度取决于截图分辨率以及 UI 元素的清晰程度。
• 图标描述（icon caption）质量受 Florence-2 base 模型本身的限制，可能产生不准确或模糊的描述。
• 该工具并非为安全关键型决策或无人监管的完全自主控制而设计。

许可证

各子目录的许可证不同，请参阅各模型文件夹中的 LICENSE 文件：

icon_detect
icon_detect_v3
icon_caption

将 icon_detect_v3 与 icon_caption 一起使用，可以构建出一条完全采用 MIT 协议的 OmniParser 流水线。

icon_detect_v3
icon_caption

microsoft/OmniParser-v2.0 的模型目录结构

使用 microsoft/OmniParser-v2.0 的 Spaces（共 60 个）

microsoft/OmniParser-v2.0 相关论文

OmniParser for Pure Vision Based GUI Agent（面向纯视觉 GUI Agent 的 OmniParser）

Google 与 Meta 正向 Anthropic 与 OpenAI 在 AI 前沿领域的领先地位发起挑战。

作者：Robert Hart，2026 年 10 月 14 日 UTC 时间 19:06

上周，Anthropic 和 OpenAI 看似在这场 AI 竞赛中独占鳌头，凭借不断推陈出新的强大模型，将竞争对手远远甩在身后。Google 似乎已远远落后，而 Meta 尽管斥资数十亿美元试图重振其在 AI 领域的雄心，却仍未确立自己作为有力竞争者的地位。即便是来自中国的最新模型，尽管令人印象深刻，看起来也仍处于追赶之中。

然而，短短数天之内，一切都变了。Google 和 Meta 各自发布了一款前沿模型，并宣称其能够与 OpenAI 和 Anthropic 的最强模型正面较量。突然间，战火重燃——而胜负归属，尚未可知。

在此之前的一周里，Google 看起来已永远失去了 AI 领跑者的位置。自去年年底发布 Gemini 3 以来，这家科技巨头带来的改进不过是些小修小补。Gemini 3 推出时固然强大，但其领先优势转瞬即逝，它在与 OpenAI 和 Anthropic 后续推出的产品——甚至一些来自中国的开源权重模型——的竞争中都显得有些吃力。

一系列的内部动荡更让外界觉得它正在撤退，远离 AI 前沿。老牌高管 Jeff Dean 携一批 AI 研究员离职，创办了一家新公司。诺贝尔奖得主、长期执掌 Google AI 核心部门 DeepMind 的 Demis Hassabis 也退出了日常管理岗位。其他 AI 相关团队则被剥离出 DeepMind，回归 Google 主体。这些变化共同标志着其 AI 重心的更广泛转移——从伦敦转向加州——也引发外界猜测，认为这家科技巨头正开始把商业化置于研究之上。

然而就在本周二，Google 用 Gemini 4 Argon 的发布颠覆了这一印象。这是一款新的前沿模型，Google 宣称其在多项基准测试上能够比肩甚至击败 OpenAI 和 Anthropic 的旗舰产品——至于基准测试本身还剩多少价值，则是另一个问题。更值得一提的是，Google 给出了极具攻击性的定价：在试用期内，其单价较竞争对手低出多达 80%，即便促销期结束，其价格依然明显更便宜。

Meta 的登场甚至更具戏剧性。与长期以来凭借雄厚财力和 DeepMind 在 AI 领域称雄的 Google 不同，Meta 从未真正确立自己作为前沿领域重要竞争者的地位。这并非因为缺乏尝试，但它的模型始终难以脱颖而出。去年，该公司启动了一场雄心勃勃且代价高昂的 AI 业务重组，在人才和基础设施上投入了数十亿美元，其中包括 Scale AI 及其联合创始人 Alexandr Wang。今年四月，新成立的超级智能实验室发布了其首个重要模型 Muse Spark。表现不俗，但仍算不上前沿。

这一局面在周一发生了改变：Meta 终于发布了一款能够与业界顶尖模型同台较量的产品。根据该公司的测试结果，Muse Wonder Full 在多项基准测试中可与 OpenAI 和 Anthropic 的领先模型——包括 GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1——相媲美。换句话说，扎克伯格的公司终于跻身 AI 前沿行列。

Google 的回归——以及 Meta 的登场——让 AI 竞争变得显著更加激烈，也清楚地表明 AI 世界中优势格局的转变可以有多迅速。两家公司都拥有极为雄厚的财力，以及被数十亿人使用的庞大产品生态，这些都是 OpenAI 和 Anthropic 这类 AI 新锐无法企及的优势。Meta 的 Muse 智能体助理的成功就是这种优势的明证：在如此短的时间里获得这样的热度——尽管安全与隐私方面的担忧与日俱增——充分展现了拥有触手可及的数十亿用户所具有的力量。而与此同时，OpenAI 也不得不更加努力地打造自己的生态，将自己定位为 Meta 之外的另一种选择。

这一切都发生在 AI 竞赛似乎正在进入一个新阶段之际。开发更强大模型的驱动力正变得日益棘手。日益增多的安全担忧和 AI 失控事件，让放缓开发步伐的呼声越发高涨。开源模型也在变得越来越好，使任何一家公司都难以长期保持领先。

如果单纯的力量与性能已不足以保持领先，那么 Google 和 Meta 都拥有诸多 Anthropic 和 OpenAI 所不具备的优势。它们或许花了大量时间在追赶，但过去这一周已经表明，低估其中任何一家都将是极其愚蠢的。

最热门

1. Tesla Roadster 本可能永远停留在“PPT 发布”阶段
2. Xbox 把手柄做小了
3. 我体验了苹果的 HomeView 智能显示屏
4. 《时之笛》重制版体验极为现代——也出乎意料地吓人
5. Alexa Tablet 12 Pro 几乎就是我们所需要的 Android 平板

Anthropic 警告：小型 AI 模型可能通过物联网设备自我复制

所谓的「基于权重的小型复制器」可能会催生新一代计算机蠕虫。

AI 公司 Anthropic 近日发出警告：随着小型 AI 模型的不断进步，一类能够自我复制的新型恶意软件可能很快出现。这类恶意软件能够感染智能冰箱、扫地机器人以及各种各样的物联网设备，并且更加难以被彻底清除。

Anthropic 表示，到明年（即下一年），更小型的 AI 模型或许就能在各类物联网设备上自主完成自我复制。长远来看，这一能力还可能被用来制造计算机蠕虫——这种蠕虫无需人工干预就能传播，并且能够感染此前从未接触过的物联网设备。Anthropic 最近进行的一项实验显示，要把这样一种由 AI 驱动的恶意软件复制器真正做出来，仍面临相当大的困难，因此该结论也必须加以审慎看待。但相关结果确实让人担忧：一种新型计算机蠕虫有可能成为现实。

难以关停

Anthropic 不仅就这种新的潜在恶意软件发出了警告，还指出它可能难以被阻止。该公司在博文中写道："这样的复制器将很难被关停，因为并不存在一个可以集中关闭的节点——尽管其传播速度可能很慢（倍增时间以天计）。与非人工智能驱动的恶意软件不同，它还能自行识别陌生的设备。"

相比前沿大模型，运行小型 AI 模型所需的硬件算力要低得多。Anthropic 在真实的或模拟的低成本、非品牌 Android 电视盒子以及其他类型的物联网（IoT）硬件上运行了小型开源权重模型。公司研究人员发现，通过使用量化（quantization）技术以更少的比特表示模型，并将工作负载拆分成在每台设备上运行的"分片（shard）"，这些模型得以成功建立推理（inference）——即模型权重被加载并能够生成输出。

轻量级的 Gemma4-26B-A4B 模型仅需 15 台盒子，每台仅配备 4GB 内存，即可实现推理。Qwen3.5-9B 则能够在九种硬件类型中的八种上，配置其他大语言模型运行。与必须针对特定硬件或软件编写的传统恶意软件不同，该模型能够利用其权重，针对所测试的设备即时（on the fly）做出定制化的配置。

这一发现成为进一步研究的起点：小型模型是否有可能像传统物联网蠕虫（如 Mirai）那样，在物联网设备上安装 DDoS 代码及其他载荷，从而创建出可自我复制的感染链？与 Mirai 不同，这些 AI 蠕虫可能构成更大的威胁，因为这些模型可以根据目标动态定制漏洞利用与载荷。一旦这样的感染链开始运转，防御者阻止它的难度也可能更大。

Anthropic 表示："这样的'AI 蠕虫'在自我复制的过程中，可以随身携带其模型权重（或者从公共仓库重新下载），然后直接在受感染的硬件上运行推理。"Anthropic 称："实际上，权重本身就成了恶意软件载荷的一部分。"

Anthropic 将这些自主蠕虫称为小型权重型复制器（small weight-based replicators）。这些模型运行的智能体可以访问常见的渗透测试工具，例如反弹 shell。攻击流程包括：（1）发现目标，（2）获取代码执行权限，（3）建立推理，（4）向新主机传播。相比传统蠕虫，一个关键优势在于 Anthropic 所指出的智能体在工作中学习的能力：每当 AI 复制器未能攻陷某个特定的平台设备时，它可以留下一份提示词、代码与备注清单给后续的复制器，避免它们浪费时间重蹈覆辙。

Anthropic 表示，动态推理的建立（dynamic inference setup）是整个复制周期中研究最少、也可能最具挑战性的阶段。它需要针对每个目标的具体硬件与软件，做出一连串长链决策，包括选择兼容的推理软件、安装依赖项以及调试平台特有的 bug。

Anthropic 称："这些步骤是串行依赖的，一旦失败便很难恢复。"

实验表明，小型模型正日益具备自主解决上述问题的能力。然而在目前阶段，受测的轻量级模型都还无法完成端到端的复制——即发现新设备、利用漏洞取得访问权限、用载荷感染它们、配置推理服务器，然后重复整个流程。这一过程也极其缓慢：在 15 台 Android 电视盒子上分布式运行的 Gemma4-26B-A4B，性能仅为每秒 0.39 token。这意味着，未优化的 Gemma4-26B-A4B 完成一次完整推理搭建需要 71 至 150 小时，Qwen3.5-9B 则需要 29 至 51 小时。（研究人员表示，看起来大型模型 GLM-5.2 能够可靠地完成这一流程。）

该公司指出，300 亿（30B）参数级别的模型如今已经能够完成许多独立的复制步骤，尽管在执行端到端复制时仍会犯错。公司进一步表示，如果小型模型继续以当前的步伐改进，它们有望在今年年底前达成同等水平的有限成果，并且"小型权重型复制器在不久的将来就有可能出现"。

该实验留下了诸多重要的待解问题。首先，小型模型所攻击的 Android 设备暴露了未经验证的 Android Debug Bridge（Android 调试桥）。该工具用于开发与调试阶段，绝不应在生产环境中使用，因为它会让攻击者访问整个设备栈。其次，复制过程并非由小型模型本身执行，而是由 GLM-5.2 进行编排，同时让目标设备运行较小的 Llama 模型。

归根结底，实验证明了小型智能体模型正日益具备跨多台机器搭建复杂、分布式推理基础设施的能力。然而仍有待确认的是：这些模型是否会主动发起自我复制。

AI 研究员 Xiaohan Fu 在一次采访中表示："尽管实验设计精良，但该研究本身并未证实小型模型会自主选择进行复制。提供可复现的智能体设置，包括给到模型的具体提示词与指令，将有助于研究界更好地理解这些发现并评估其影响。这种透明度对于避免将'已被证明具备的复制能力'与'自主自我复制的现实威胁'混为一谈，尤其重要。"

使用说明

下面是使用 Qwen/Qwen2.5-VL-7B-Instruct 的相关库、推理服务、Notebook 和本地应用的方法。请通过以下链接开始上手：

• 如何将 Qwen/Qwen2.5-VL-7B-Instruct 与 Transformers 配合使用
• 如何将 Qwen/Qwen2.5-VL-7B-Instruct 与 vLLM 配合使用
  • 通过 pip 安装并部署模型
  • 使用 Docker
• 如何将 Qwen/Qwen2.5-VL-7B-Instruct 与 SGLang 配合使用
  • 通过 pip 安装并部署模型
  • 使用 Docker 镜像
• 如何将 Qwen/Qwen2.5-VL-7B-Instruct 与 Docker Model Runner 配合使用

Qwen2.5-VL-7B-Instruct

简介

自 Qwen2-VL 发布以来的五个月里，许多开发者基于 Qwen2-VL 视觉语言模型构建了新的模型，并为我们提供了宝贵的反馈。在此期间，我们专注于打造更有用的视觉语言模型。今天，我们激动地推出 Qwen 家族的最新成员：Qwen2.5-VL。

主要增强：

• 更强的视觉理解能力：Qwen2.5-VL 不仅能熟练识别常见物体（如花、鸟、鱼、昆虫），还具备出色的能力，可以分析图像中的文本、图表、图标、图形和版式。

• 智能体（Agent）能力：Qwen2.5-VL 可以直接作为视觉智能体进行推理，并能动态调度工具，可用于电脑操作和手机操作。

• 长视频理解与事件捕捉：Qwen2.5-VL 能够理解超过 1 小时的视频，并新增了通过定位相关视频片段来捕捉事件的能力。

• 多种格式的视觉定位：Qwen2.5-VL 可以通过生成边界框或点，准确地在图像中定位对象，并能为坐标和属性输出稳定的 JSON。

• 结构化输出：对于发票、表单、表格等结构化数据的扫描件，Qwen2.5-VL 支持对其内容进行结构化输出，可惠及金融、商务等场景。

模型架构更新：

我们将动态分辨率扩展到时间维度，通过采用动态 FPS（每秒帧数）采样，使模型能够以不同的采样率理解视频。同时，我们通过加入 ID 与绝对时间对齐，更新了 mRoPE（多模态旋转位置编码）在时间维度上的实现，使模型能够理解时间序列与速度，并最终获得精确定位特定瞬间的能力。

我们通过在 ViT（视觉 Transformer）中策略性地使用窗口注意力，提升了训练和推理速度。ViT 架构还进一步采用了 SwiGLU（一种激活函数）和 RMSNorm（均方根层归一化）进行优化，使其与 Qwen2.5 LLM 的结构保持一致。

我们提供了三个参数规模分别为 30 亿、70 亿和 720 亿的模型。本仓库包含 70 亿参数的指令微调版 Qwen2.5-VL 模型。更多信息，请访问我们的博客和 GitHub 仓库。

评测

图像基准

视频基准

智能体基准

环境要求

Qwen2.5-VL 的代码已合并到最新版 Hugging Face transformers 中，我们建议使用以下命令从源码安装：

pip install git+https://github.com/huggingface/transformers accelerate

否则你可能会遇到如下错误：

KeyError: 'qwen2_5_vl'

快速上手

下面我们提供简单的示例，展示如何将 Qwen2.5-VL 与 🤖 ModelScope 和 🤗 Transformers 配合使用。

Qwen2.5-VL 的代码已合并到最新版 Hugging Face transformers 中，我们建议使用以下命令从源码安装：

pip install git+https://github.com/huggingface/transformers accelerate

否则你可能会遇到如下错误：

KeyError: 'qwen2_5_vl'

我们提供了一个工具包，可帮助你像使用 API 一样更方便地处理各种类型的视觉输入，包括 base64、URL，以及图文和视频混合输入。可使用以下命令安装：

# 强烈建议启用 [decord] 功能以获得更快的视频加载速度。
pip install qwen-vl-utils[decord]==0.0.8

如果你的系统不是 Linux，可能无法通过 PyPI 安装 decord。此时可以使用 pip install qwen-vl-utils，它会回退到使用 torchvision 进行视频处理。不过，你仍然可以从源码安装 decord，以便在加载视频时使用 decord。

使用 🤗 Transformers 进行对话

下面展示一个代码片段，演示如何通过 transformers 和 qwen_vl_utils 使用对话模型。

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

# 默认：将模型加载到可用设备上
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct", torch_dtype="auto", device_map="auto"
)

# 建议启用 flash_attention_2 以获得更好的加速和显存节省，特别是在多图像和视频场景下
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2.5-VL-7B-Instruct",
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
#     device_map="auto",
# )

# 默认 processor
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

# 模型中每张图像的视觉 token 数量默认范围为 4–16384
# 你可以根据需要设置 min_pixels 和 max_pixels，例如将 token 范围设为 256–1280，以在性能和成本之间取得平衡
# min_pixels = 256 * 28 * 28
# max_pixels = 1280 * 28 * 28
# processor = AutoProcessor.from_pretrained(
#     "Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels
# )

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

# 推理准备
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# 推理：生成输出
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

# 包含多张图像和一条文本查询的消息
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/image1.jpg"},
            {"type": "image", "image": "file:///path/to/image2.jpg"},
            {"type": "text", "text": "Identify the similarities between these images."},
        ],
    }
]

# 推理准备
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# 推理
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

# 包含作为视频的图像列表和一条文本查询的消息
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": [
                    "file:///path/to/frame1.jpg",
                    "file:///path/to/frame2.jpg",
                    "file:///path/to/frame3.jpg",
                    "file:///path/to/frame4.jpg",
                ],
            },
            {"type": "text", "text": "Describe this video."},
        ],
    }
]

Jess Weng　2026 年 10 月 14 日　10 分钟

关键要点

• “上下文腐烂”（context rot）出现在长时间运行的智能体上——当它们积累的上下文超出模型承载能力时，准确率就会下降。
• Deep Agents 是 LangChain 的开源智能体框架，它使用五种技术将上下文移出活动窗口（但不删除），从而防止上下文腐烂。
• 在 Deep Agents 里，智能体的记忆以普通文件的形式存储在你掌控的存储介质中，因此你可以在保留它全部所学的同时切换模型或服务提供商。

如果你曾临时抱佛脚地通宵复习考试，你一定熟悉那种感觉：学得越多，前几章的内容反而越容易从脑海里溜走。

智能体也面临同样的问题。随着它们处理的任务越来越久，积累的信息（指令、工具结果、文件等等）也越来越多；最终这些上下文会远远超出模型上下文窗口的舒适承载量。模型携带的历史、噪声和工具输出越多，它的准确率和推理能力往往就越差。

在智能体工程领域，我们把这种现象叫做“上下文腐烂”（context rot）。本文将介绍管理智能体上下文窗口的若干技术，以及 Deep Agents 框架如何通过“中间件”（middleware）的概念把这些技术注入到智能体的运行流程中。

理解上下文工程技术

简化来看，智能体本质上就是一个模型，外面套了一层框架。

智能体可用来应对上下文腐烂的上下文工程技术，主要分两大类：

• 阻止不必要的信息进入上下文窗口
• 管理和过滤上下文窗口中已有的内容

框架会在恰当的时机按需地应用这些方法，以便在给定任务下让模型在正确的时刻拿到正确的上下文。

不过，把这样一个框架做好说起来容易做起来难，需要大量的工作（如果你是那种临时抱佛脚通宵复习的人，那工作量可能就更显巨大了）。

Deep Agents 是 LangChain 的开源框架。它在你选定的模型外层包裹一层技术，用于将上下文移出活动窗口（转存到文件、摘要，或单独的智能体中），使主智能体只携带它需要的内容（并在之后需要时仍可取回原始数据）。

1. 转储（Offloading）： 将大型工具结果和用户消息保存到文件系统，模型看到的只是一个预览。
2. 摘要（Summarization）： 当对话接近上下文上限时，把较早的消息压缩成摘要。
3. 技能（Skills）： 任务相关的诀窍（know-how）只有在模型判定相关时才会被加载。
4. 子智能体（Subagents）： 噪声较大的工作放在一个独立的上下文窗口中运行，只有最终结果返回。
5. 长期记忆（Long-term memory）： 智能体所学的内容会保存到一个文件中，并带到下一次对话中。

把上下文工程应用到常见用例中

我们来看看上述技术如何应用到一个真实场景里：一个竞品分析智能体。每个周一，这个智能体会调研五家竞品，并按照团队的模板撰写一份报告。一次的运行大致是这样的：

1. 拉取 A 公司的市场数据导出（数万行）
2. 搜索新闻，阅读几篇文章，并做笔记
3. 对 B 到 E 公司重复同样的过程
4. 起草报告，根据你的反馈进行修改，并格式化输出

到第 4 步时，智能体已经在每次模型调用中累积了 5 份原始导出、几十条搜索结果以及两份过时的草稿。其中大部分对于最终报告的格式化是无关紧要的。

检索方法（RAG 或文件系统搜索）能帮助智能体只拉取它所需的内容，但这仍然只解决了一半问题。即便是很精准的智能体，也会累积起不必要的消息、工具结果和中间过程，所以运行框架本身还必须管理已经在上下文窗口之中和周围的内容。

如何实现这些技术：中间件

智能体运行在一个循环中：模型决定要做什么，调用一个工具，读取结果，然后重复，直到任务完成。中间件是插入到这个循环特定节点上的代码，例如在智能体启动之前、每次模型调用前后、或者每次工具调用前后。

• 在每个节点上，它可以读取上下文，并在下一步运行前对其进行修改。
• 本文所讲的每一种上下文工程技术，都是挂载在这些节点之一上的一段中间件。
  • 这些功能大部分是内置的，因此你无需编写任何中间件即可使用这些技术（除非你想针对某些特定环节进行自定义）。

卸载（Offloading）：把内容挡在上下文窗口之外

我们的智能体并不总是需要查看每一次工具调用或人类消息所返回的全部数据，尤其是当数据量很大的时候。

例如，每一次 pull_market_report 工具调用都会返回一份完整的数据导出（成千上万行）；然而智能体只需要其中的几个数字，因此可以限制模型只看到这些相关的行。

FilesystemMiddleware 会在每次工具被调用时执行：

1. 当工具结果超过大约 20,000 个 token 时，完整的结果会在进入对话之前被写入 /large_tool_results/{tool_call_id}。
2. 模型只能看到一段简短的预览（开头和结尾的几行）以及文件路径。
3. 当智能体之后需要 B 公司的季度营收时，它会通过 read_file 去分页读取这个文件。

对于过大的用户/人工消息（比如粘贴进去的通话记录），会在更高的阈值（50,000 个 token）下进行同样的处理，并保存到 /conversation_history/。

摘要：压缩已有内容

即便我们尽力把冗长的工具调用卸载到外部，上下文在长时间运行中仍会逐渐堆积（例如对五家公司的检索、笔记和草稿）。摘要（Summarization）可以把整个上下文窗口压缩为到目前为止发生情况的摘要，让智能体（agent）能够继续完成研究任务。

• 那些尖峰是到达的较大工具结果或人工消息；卸载会把它们各自替换为一段简短预览后才交给模型，因此上下文只增长一点点。
• 摘要处理的是缓慢的攀升：一旦使用率达到 85%，较早的消息会被压缩成一段摘要，上下文随之回落。

SummarizationMiddleware 在每次模型调用前检查 token 用量：

1. 当用量超过阈值（默认为模型上下文窗口的 85%）时，会通过一次独立的 LLM 调用将较早的消息压缩成一段摘要。
2. 较早的消息会从上下文窗口中移除，最近的消息则原样保留。
3. 模型现在会先看到摘要，再看到最近的消息（因此最近的内容不会被改写）。

两个重要细节：

• 可恢复。 被摘要的消息会写入 /conversation_history/{session_id}.md。如果在撰写报告时需要来自公司 A 研究的某个细节，智能体可以重新读取它。
• 会循环。 随着运行继续，用量会再次攀升，下一次摘要会把上一次的摘要一并纳入。

你还可以在话题切换时进行摘要，而不必非要等到某个 token 阈值再触发。自定义摘要提示词（prompt）通常很有帮助。

我们关于 Deep Agents 上下文管理 的文章会更详细地介绍这两部分内容。

Skills（技能）：按需加载信息

假设你的销售团队针对季度业务回顾（QBR）有一套固定格式。智能体每个季度只需要这些指令一次，如果把它们一直放在系统提示（system prompt）里，就意味着每次调用都要为之付费（消耗 token 和响应时间）。更好的做法是把这类信息打包为一项技能。

技能（skill）是一个包含指令的文件夹（可附带脚本和参考资料），为智能体完成专门任务提供所需信息。

智能体一开始只会看到一段简短的描述，只有当涉及 QBR 时才会加载 qbr-report 的完整指令（其他任务完全不会携带它们）。

技能按层级加载上下文，因此窗口保持得很小，直到真正有相关内容出现。这被称为渐进式披露（progressive disclosure）：模型先看到一份“菜单”，在需要时才调入完整配方；这样十项技能所占用的上下文，大约和十条一句话提示相当。

你把技能目录指给智能体，SkillsMiddleware 会通过两个钩子（hook）来工作：

1. 在智能体启动前，它扫描技能目录，只读取每个 SKILL.md 的头部。
2. 在每次模型调用时，它将这些技能名称和描述添加到系统提示中。

完整指令只有在模型判定某项技能相关时（并通过 read_file 工具读取）才会进入上下文。于是我们的智能体在研究阶段不会加载模板，只在需要排版 QBR 时才加载它。

可能我开发的，最好用的音视频学习 Chrome 插件！

今天正式上架谷歌官方商店。

Youtube、B 站、小宇宙、抖音、Tiktok字幕转写、视频下载、AI 总结。

按三下 a 就进入学习模式，按三下 i 写笔记存 Obsidian。

安装地址：

chromewebstore.google.com/detail/%E4%B9%…

希望打造史上最强音视频学习软件！哈哈哈

除字幕转写、翻译、AI 对话，还支持音视频下载。

无论 X、B 站、抖音、Tiktok、小宇宙都可以，下面是操作演示。

安装 Prompt 见评论区

网页只是 Agent 时代的过渡形态！Meta 把浏览器操作能力直接训进了模型，商家什么都不用做，Muse 就能用它们的网站。愿意合作的商家可以开放 API 直连，省得 Agent 再去爬网页。小扎说今天每家公司都有网站、社交账号和邮箱，以后每家公司也都会有自己的 Agent 👀

现在主动找上门要求深度接入的商家，远比想屏蔽的多。Computer Use 能力是 Agent 购物的最后一块拼图，有了它，你几乎可以让 Agent 替你买任何东西，等于给整个旧互联网加了一层终极兼容。所以屏蔽 Agent 什么也拦不住，只会把自己挡在下一波需求之外 🤔 — 节选自 Cheeky Pint 播客，Mark Zuckerberg × Alexandr Wang