dots.tts-2B 是什么：小红书开源的连续潜空间语音大模型

它是什么：一个开源的音色克隆 TTS

dots.tts-2B 是小红书 hi lab 在 2026 年 6 月发布的语音合成模型，属于 dots 系列，权重开放，代码和检查点用 Apache-2.0 协议放出。一句话讲清楚：dots.tts-2B 是一个 20 亿参数、全程用连续潜变量做自回归生成的开源文本转语音模型，主打零样本音色克隆和低延迟流式输出。

它发布时是一组检查点：base 是预训练底座，soar 在 base 上做了自纠正对齐，mf 是蒸馏出来的少步数版本。8 月官方又陆续补了 mf-2steps、mf-1step、面向边想边说场景的 stts，还有做语音编辑的 dots.tts.edit。

关键规格：不用离散 token 是怎么回事

不少语音大模型会先把声音量化成离散 token 再逐个预测，好比把一幅画压成马赛克再还原。官方说 dots.tts 整条链路没有任何离散 token：48kHz 的 AudioVAE 把波形编成连续潜变量，主干按块一块块预测。主干由语义编码器、从 Qwen2.5-1.5B-Base 初始化的语言模型，以及一个负责给下一块去噪的流匹配头组成，音色由说话人向量提供。少了量化这一步，细节更容易保住，代价是每块都要跑几步去噪，所以官方才做了 mf 蒸馏版，推荐 4 步采样。

文本直接按 BPE 输入，不走音素，训练数据约 150 万小时。这意味着语种覆盖基本跟着文本底座走，主流语种稳，冷门语种吃亏，后面会说。

能力和成绩：数字怎么看

最有代表性的是 Seed-TTS-Eval 零样本测试，参考音频约 3 秒，词错率越低越好，相似度越高越好。官方给出 soar 版在中文、英文、中文困难集上的词错率分别是 0.94%、1.30%、6.60%，说话人相似度 81.0、77.1、79.5，并说平均成绩在这张榜上名列前茅。这是厂商自己报的数，基线取自原论文或开源默认配置。我更看重相似度：soar 平均 79.2，表里的 Seed-TTS 是 77.8，VoxCPM 2 是 76.7。

24 语种的 MiniMax 多语言测试里，官方说 soar 的平均相似度 83.9，MiniMax 自家是 76.6。EmergentTTS-Eval 由 Gemini-2.5-Pro 当裁判，和 gpt-4o-mini-tts 两两对打：dots.tts 三个版本总胜率在 47.6% 到 49.2% 之间，没超过基线的 50%，闭源的 Gemini-2.5-Flash-TTS 是 70.7%，不过 soar 在句法复杂度一项拿到 65.7%。

怎么用、多少钱

官方给的是自己部署的路子：pip install dots.tts 装好，传入文本、一段参考音频和对应文字就能克隆音色，权重放在 Hugging Face。官方没有公布按量计费的 API 价格，所以成本基本就是你的显卡。官方在单张 H800 上测，40 秒以内的音频，soar 显存峰值约 7.9GB，mf 约 5.7GB；开 --optimize 要先花约 3 分钟冷启动编译。社区还有 Apple Silicon 的 MLX 移植和 ComfyUI 节点，不是官方出品。要上服务，官方推荐 SGLang Omni，单张 H100 跑 mf，并发 16 时吞吐约 4.76 请求每秒。

延迟别被一个数字带偏。规格里常被引用的 54 毫秒首包延迟，对应论文里 mf 蒸馏版的双流式模式，也就是上游大模型边吐字边出声；普通流式输出是 85 毫秒。官方 GitHub 在 H800 上的实测里，纯文本流式首包约 68 到 69 毫秒，带参考音频克隆要 204 到 225 毫秒。

和谁比：强在哪弱在哪

跟 Qwen3-TTS（1.7B）比，Seed-TTS-Eval 平均词错率 2.92% 对 3.07%，相似度 78.8 对 74.5，音色还原明显更贴；但英文子集上 Qwen3-TTS 的词错率是 1.23%，比 dots.tts 的 1.30% 到 1.34% 略低。跟 CosyVoice 3 比，中文困难集是 CosyVoice 3 更好，5.83% 对 6.46% 到 6.60%。同样 2B 的 VoxCPM 2，Seed-TTS-Eval 平均词错率 3.65%，高于 dots.tts；多语言上则各有胜负，阿拉伯语 VoxCPM 2 是 13.05%，dots.tts 在 36% 以上，印地语反过来，dots.tts 约 14%，VoxCPM 2 是 19.70%。

再看 Fish-Audio S2，MiniMax 多语言平均词错率 3.7%，低于 dots.tts 的 6.6% 到 6.8%；CV3-Eval 困难英文集上两边接近，4.40% 对 4.37% 到 4.49%。

适合谁，有什么坑

做内容的，配音、口播、有声书可以试。官方建议参考音频控制在 10 秒左右，更长不会更好；参考文字必须和音频实际内容一致，否则稳定性下降、容易错字。中文多音字读错时，可以把那个字换成带声调的拼音，官方举的例子是“我生平不hào此道”。做对话和语音助手的开发者，看 mf 系列和 stts，官方把它们定位在低延迟和双流式对话场景。

坑有三个：阿拉伯语、印地语、土耳其语、越南语这类语种词错率偏高，要自己测；歌声和人声加音效的生成不在这一版覆盖范围内；高保真克隆有被滥用的风险，官方明确说不要用于冒充、诈骗和虚假信息，并建议标注 AI 生成内容。AI主线的看法是：想要一个能本地跑、协议宽松、中英文音色还原扎实的语音底座，dots.tts-2B 值得拉下来试一遍；要拿它做多语种或线上配音服务，先用你的目标语种和真实文本做一轮小样本验证再决定。