Nemotron 3.5 Transcribe 是什么:英伟达用一句指令改转写风格的语音模型
它是什么
Nemotron 3.5 Transcribe 是英伟达在 2026 年 10 月 28 日发布的开放权重语音模型,官方称它为语音增强语言模型(SALM)。结构上,它把一个 Transformer 语音编码器、一个冻结的 Nemotron 3 说话人分离模型,和 Nemotron 3.5 Lightning 30B-A3B 这个 Mamba 与 Transformer 混合的 MoE 大模型连在一起,总参数约 34B,激活参数约 4.3B。许可证是 OpenMDW-1.1,同时开源了基于 NeMo Speech 的微调工具包。
核心卖点:转写风格由指令决定
官方的出发点很有意思:一段录音并没有唯一正确的转写稿。数字写成汉字还是阿拉伯数字,要逐字保留口头禅还是整理成书面语,专业术语怎么写,中英夹杂时用哪种文字,都取决于谁读、拿来干什么。传统语音识别在训练时就定死了一种规范;Nemotron 3.5 Transcribe 则让每个请求用一句自然语言指令选择转写风格,不需要重新训练。
一个模型就能做逐字转写、书面化转写、带上下文的转写、带说话人标注的转写、语音翻译和语种识别,支持 40 种语言、最长一小时的录音,需要时还能返回带说话人标签的逐词时间戳。
成绩怎么样
官方公布:在英文 Open ASR 排行榜的 9 个公开测试集上平均词错率 4.71%,在多语种 Open ASR 排行榜上 4.62%,官方称是开放权重模型中最好的成绩。在重叠多人说话的说话人标注转写上,官方说这是第一个超过专门级联系统的 SALM。给定一份预期实体清单时,它在 ContextASR-Bench 上把专有名词错误减少到原来的六分之一。
速度和部署
它原生支持多 token 预测(MTP)的投机解码,也可以选用单独训练的 DFlash2 草稿模型。官方说用 NIM 部署 NVFP4 版本加 DFlash2,单张 RTX PRO 6000 Blackwell 每秒能转写最多 2238 秒音频。发布的 checkpoint 有 BF16、FP8、面向 Blackwell 的 NVFP4、给 NeMo-Speech.cpp 用的 GGUF,以及 DFlash2 草稿模型。官方还展示了在 17 个任务上,用单张 GPU、每个任务约 0.5 到 2.3 个 GPU 小时就能把模型适配到新语言、新领域。
适合谁
做会议纪要、客服质检、字幕制作、播客整理的团队,最常遇到的就是“转写规范不统一”,它用指令切换风格的设计正好对症。需要私有部署大规模转写的,开放权重和多种量化格式很方便。AI 主线的看法是:语音识别正在从“识别准不准”走向“按需求输出”,把转写当成一个可以用指令控制的语言任务,是很自然的一步。