今天，我们很高兴发布 LFM3，这是我们新一代的 Liquid Foundation Models（LFM），专为专业化智能而打造。LFM3 模型系列本质上是多模态的，并将文本、视觉、音频、全模态和决策模型统一到一个新的共享骨干网络上。LFM3 系列的首个版本涵盖 2B 参数范围内的模型。

LFM3 基于全新的混合架构和 22T token 的预训练构建，表现力远超 LFM2，同时保持其高效性。小尺寸、快速模型中的额外容量使 LFM3 成为同类中面向专业化智能的理想起点：因为它可以在本地微调，可以在任何设备上运行，并且足够强大，能够成为特定任务的可靠专家。

基础模型和后训练模型均为开放权重，现已在 Hugging Face、我们的 Playground 和 Liquid AI API 上提供。请查看我们的文档，了解如何在本地运行和微调它们。

[

下载权重](https://huggingface.co/collections/LiquidAI/lfm3)[

在 Liquid API 中试用](https://console.liquid.ai/dashboard)[

在 Playground 中试用](https://playground.liquid.ai/)[

在 Pipette 中基准测试](https://pipette.liquid.ai/)

新架构带来更强表现力

LFM2 表明，短卷积与注意力的混合架构可以在设备端快速运行，而不会牺牲质量。其设计来自我们的自动化硬件在环架构搜索。对于 LFM3，我们利用这一搜索重新设计了该架构，以面向智能体用例，这些用例需要更高的每参数能力以及在长上下文上的快速推理。

我们还扩展了硬件在环范围：从 LFM2 时一部手机和一台笔记本电脑中的 CPU，扩展到 LFM3 的 14 种设备和后端组合：手机（Samsung Galaxy S26 Ultra 和 OnePlus 15）、Raspberry Pi 5、笔记本电脑（Apple M4 Max 和 AMD Ryzen AI）、Arm 和 x86 云 CPU，以及 GPU 和高通 Hexagon NPU。

门控短卷积仍然占一半以上的层。为了在不拖慢长上下文的情况下增加能力，我们尝试将其中一些替换为其他序列块，而滑动窗口注意力（SWA）提供了最佳的质量与速度权衡。我们仅在其他改动能够提升质量且不带来明显速度损失时保留这些改动。收益在长上下文上显现出来。按每参数计算，LFM3-1.7B 在边缘设备上的短提示上与 LFM2-1.2B 相当，而在上下文为 8K token 时约快 25%。

三混合层组合。 LFM3 结合了三种算子：门控短卷积、滑动窗口注意力（SWA）和全局注意力。在其 24 层中，13 层是卷积，5 层是窗口为 256 token 的 SWA，6 层是全局注意力。卷积还使用 7 的卷积核大小，高于 LFM2 中的 3。

逐头门控注意力。 一个 sigmoid 门控缩放每个头的输出，因此当头没有可补充的信息时可以关闭。这有助于抑制损害量化的激活离群值并提高训练稳定性。

部分 RoPE。 全局注意力层仅旋转每个头中频率最高的那一半，而低频那一半不旋转，因此这些维度无论距离如何都能按内容匹配。SWA 层保留完整的 RoPE。

三明治归一化。 每个块对其输入和输出都进行归一化，这有助于保持激活值的良好缩放。

LFM3 使用与 LFM2.5-8B-A1B 相同的 128K 词表，该词表旨在更高效地分词非拉丁文字。

训练。 LFM3-1.7B-Base 在 22T token 上进行了预训练。与 LFM2 相比，该数据组合增加了更多科学论文、仓库级代码、更广泛的知识来源，以及显著更多的数学内容。最后的 3.5T token 是在精选的高质量数据上进行的中期训练阶段，其中包含更大比例的智能体轨迹和多样化的工具调用，以为模型的智能体后训练做准备。该阶段还将上下文窗口扩展到 256K token。

满足各种需求的多模态系列

LFM3 首个版本包含六个模型，全部从同一个 LFM3-1.7B-Base 骨干分支而来，且都在约 2B 参数规模。其中四个模型覆盖不同的输入模态（文本、视觉、音频和全模态），最后两个是从视觉模型和全模态模型专业化而来的决策模型。与其运行一个大型通用模型，你可以选择适合自己用例的模型，对其进行定制，并在设备端运行。

如需深入了解这些模型背后的性能和推理结果，请参阅各自的模型卡。

“

随着 AI 日益从云端迁移到客户端，开发者需要能够在各类 AI PC 上高效部署的模型。Liquid AI 的 LFM3 系列将强大的多模态能力与紧凑的体积相结合，非常适合设备端 AI 体验。AMD 已与 Liquid AI 在多个代际的模型上密切合作，我们很高兴看到 LFM3 拓展了在搭载 AMD Ryzen™ AI 处理器的系统上本地运行的专业化 AI 应用的可能性。

在各行各业，我们看到边缘 AI 正从运行专用的检测和感知模型，演进为支持多个并发 AI 工作负载，包括视觉语言模型、自然语言接口和多模态推理。挑战在于要在边缘设备的计算、内存和功耗限制内提供这些能力。LFM3 将文本、视觉和音频整合到一个统一架构中，专为高效部署而设计，并提供开放权重，开发者可以针对特定应用进行微调。开发者已经可以通过 Cooper Model Garden 在 Ambarella 芯片上运行 Liquid AI 的 LFM2.5-VL 模型，我们也已开始在同一平台上支持 LFM3。

下一代 AI 将更加多模态、个性化和私密，同时分布在设备和云端。Liquid AI 的 LFM3 系列是朝这一方向迈出的令人兴奋的一步，我们很高兴携手将快速、高效且创新的 AI 体验带到搭载 Snapdragon® 处理器的设备上。

01 / 03