资讯

LFM3-1.7B 是什么:Liquid AI 的三混合架构端侧模型

2026-11-043 分钟阅读百科
TL;DRLFM3-1.7B 是 Liquid AI 在 2026 年 10 月发布的第三代轻量基础模型,1.7B 参数、256K 上下文,采用卷积加滑动窗口注意力加全局注意力的三混合架构,面向本地智能体和工具调用。

它是什么

LFM3-1.7B 是 Liquid AI 在 2026 年 10 月下旬发布的第三代轻量基础模型,参数约 1.73B,上下文窗口 256K token(输入加输出),支持中文、英文、日文、阿拉伯文等 16 种语言,许可证是 LFM Open License v1.0。官方给它的定位是本地智能体、工具调用、结构化输出和特定领域微调。

架构:三种层混着用

Liquid AI 的 LFM 系列一直不走纯 Transformer 路线。LFM3-1.7B 共 24 层,其中 13 层是门控短卷积,5 层是滑动窗口注意力,6 层是全局注意力,官方称为三混合(tri-hybrid)设计。卷积层计算便宜、擅长捕捉局部模式,滑动窗口注意力处理中等距离的依赖,少量全局注意力层负责长距离信息。这种组合的好处是在长上下文下依然省内存、跑得快。

训练规模

对一个 1.7B 的模型来说,训练量相当大。基础模型预训练共 22T token,其中约 15T 是网页和合成数据,接着在 4K 上下文下训练 3T 的代码、数学和科学数据;中期训练用 32K 上下文训练了 3T 精选的智能体数据,再分别用 500B 和 50B token 把上下文扩展到 128K 和 256K。后训练包括 1.75T token 的监督微调,以及混合强化学习、多领域在线蒸馏和智能体强化学习。

成绩怎么样

官方的对比对象包括自家 LFM2.5-2.6B、MiniCPM5-2B、Gemma 4 E4B、Qwen3.5-4B 和 Qwen3.5-9B。几项代表性成绩:BFCL V4 函数调用 71.39,WebArena-Verified 38.42,IFEval 指令遵循 96.66,LiveCodeBench v6 73.46,这几项都是对比组里最高的。全部约 35 项基准的平均分 49.37,也高于对比里参数大得多的 Qwen3.5-9B 的 47.24。但它也有明显短板:GPQA Diamond 63.37、长上下文 RULER 128K 65.56,都明显低于 Qwen3.5 系列。这些都是官方自测成绩。

端侧表现和使用建议

4 位量化后只占约 1GB 内存。官方说在 llama.cpp、32K 上下文下,三种设备上的预填充速度至少是对比模型的 2.5 倍,解码至少快 1.8 倍,内存占用最低;服务器端单张 B300 在 1024 并发下每天能处理 36 亿 token。官方也很坦白:知识密集型任务建议配合检索或搜索,不推荐用它做智能体编程和复杂多步推理。

AI 主线的看法是:LFM3-1.7B 把“小模型干智能体活”的上限往上推了一截,适合放在手机、电脑上做工具调用和结构化任务,但别指望它替代大模型做深度推理。

相关话题与公司