llama.cpp 接上 NVIDIA 转写模型，中文表现还得再看
手里攒了一堆会议录音，想在自己电脑上转成文字，还得分清哪句是谁说的，大伙是不是都动过这个念头？
llama.cpp 在 UTC 2026 年 11 月 4 日发布的 b12087 构建里，通过 mtmd 多模态模块加入了对 NVIDIA Nemotron 3.5 Transcribe 的支持，距离这个模型 10 月 28 日开放权重正好一周。我们 AI主线 的看法是：llama.cpp 接上 Nemotron 3.5 Transcribe，给这个 30B-A4B 的开放转写模型添了一条大伙最熟的本地入口，但它能不能当中文会议记录工具，眼下还缺可靠的第三方实测。
这个构建号里到底塞了啥
先说明白，b12087 是一次构建发布，发布页只列了一串提交标题，没有长篇说明。能看到的主体，是 mtmd 里新增的 Nemotron 3.5 Transcribe 支持，外加几处补丁：音频转梅尔频谱时的归一化，说话人预测那套先进先出的缓存改成本地的，加载时校验 mmproj 的张量形状。
翻成人话：梅尔频谱，就是把声音画成一张"声纹图"再喂给模型；mmproj，是音频编码器和语言模型之间的转接头，先查一遍尺寸对不对得上，免得跑起来才发现插头不匹配。带"speaker"字样的提交有两条，从标题看，说话人这一块在 llama.cpp 里是单独下过功夫的。
还有一条在修 Nemotron-H 系列目标模型配套的草稿模型词表（草稿模型就是投机解码里先猜字、再由大模型验货的小帮手），另一条让转换脚本拒收非 BF16 的 Transcribe 检查点。按字面理解，想转 GGUF 就得从 NVIDIA 放出的 BF16 原版起步，FP8 和 NVFP4 那两份量化权重走不了这条路（对显存不宽裕的兄弟有点劝退）。顺带一提，七条提交信息末尾都挂着一行 Assisted-by: Claude，这次适配有 AI 打下手。
30B 的块头，为啥只用 4B 干活
Nemotron 3.5 Transcribe 是 NVIDIA 在 2026 年 10 月 28 日放出的开放权重语音模型。名字里的 30B-A4B，指总参数约 30B（模型卡把音频编码器算进去是 34B），每次实际参与计算的约 4.3B。这是混合专家架构：仓库很大，但每次只翻几格抽屉，所以块头大，干活却不算重。
它一个检查点包下了转写、说话人标注、翻译和音频问答，要哪种输出，在提示里用自然语言写清楚就行。能转写 40 种语言，单条录音最长一小时，最多标 8 个说话人。它是离线模型，不做实时流式。协议是 OpenMDW-1.1，模型卡写明商用和非商用都可以。
榜单上的漂亮数字，几分是别人验过的
先看官方自己的说法。按 NVIDIA 的说法，它在 Hugging Face 的 Open ASR 榜上，开放权重模型里英文、多语言、长音频三项都排最前，多语言平均词错误率 4.62%，下一名 Qwen3-ASR-1.7B 是 6.49%。不过这些成绩是 NVIDIA 在 10 月 12 日截下来的，榜单会动。
独立评测机构 Artificial Analysis 那边，官方称它以约 4B 的激活参数拿到 2.8% 的词错误率，和一个激活 24B 的开放权重模型并列居前。小身板打平大块头，我觉得这是它最扎实的一个点。说话人这块，VoiceArena 在 14 套系统里给它的带说话人词错误率是最低的 32.4%，前两名都是 NVIDIA 自家方案，其余系统从 34.7% 起步，领先是真的，没到拉开代差的程度。跑分党看到这里应该已经满意了，咱们再往下看。
速度要看脚注。官方说一张 RTX PRO 6000 Blackwell 服务器卡，每秒最多能转 2238 秒的录音，但这个数用的是还没进开源版的服务端优化，开源版的 vLLM 集成官方自己估计大约慢一倍。这套优化哪天真进了开源版，那才叫真香。
中文会议录音，现在能指望吗
这是我最在意的一块。模型卡把 40 种语言分成三档，普通话落在最低一档，标注是可能需要微调；韩语在最高一档。FLEURS 测试集上，韩语字符错误率 2.78%，普通话 8.62%，差了三倍左右。
前面那个多语言榜的七种语言里没有中文，所以 4.62% 对 6.49%，说不了普通话的事。两个中文会议集 AISHELL-4 和 AliMeeting 上，官方自测的带说话人字符错误率在三成三到三成五之间。AI主线 的判断是：它在中文会议场景上还没交出让人放心的成绩单，离"录音丢进去直接出纪要"还有一段距离。
回到 llama.cpp 这条线。官方兼容表里，RTX 5090 这类消费卡走的是 NVFP4 加 GGML，BF16 版的标准部署则是一张 80GB 的 H100。llama.cpp 这次的转换脚本又只认 BF16，想在家用显卡上跑，得自己动手量化，或者等有人把量化 GGUF 放出来。
接下来我盯两件事：有没有人拿中文会议录音做公开实测，把字错率和说话人对不对得上都摆出来；还有量化后的 GGUF 在家用显卡上掉多少精度。这两个数出来，才知道这条本地路线对咱们中文用户值不值得装。