文本转语音 TTS 是什么?让机器把文字读出来
TL;DR文本转语音(TTS)又称语音合成,是把文字转换成自然、连贯语音的技术,经历了从拼接录音片段到神经网络端到端生成的演进,如今已能克隆音色、表达情感。
文本转语音(Text-To-Speech,TTS)又称语音合成,是把文字转换成语音的技术。导航软件的语音播报、有声书、智能音箱的回答、视频的 AI 配音、读屏软件,背后都是 TTS。它的目标是让机器读出来的声音自然、连贯、像真人一样有抑扬顿挫。
三个发展阶段
规则和拼接合成:早期系统依靠人工设计的语言规则,或者预先录制大量真人语音片段,按需要拼接起来。拼接合成的音质可以很好,但拼接处容易不自然,想换一个声音就得重新录几十个小时的素材。
统计参数合成:用隐马尔可夫模型等统计模型预测语音参数,再合成声音。好处是灵活、体积小,但声音偏机械,有明显的“机器味”。
神经网络合成:2016 年 DeepMind 的 WaveNet 证明了神经网络可以直接生成非常自然的语音波形。2017 年谷歌提出 Tacotron,它是一个端到端的生成式模型,直接从字符生成语音频谱,不再需要文本分析前端、声学模型、合成模块等多个分别设计的组件,只要有文本和音频的配对数据,就能从零开始训练。这大大降低了构建 TTS 系统的门槛,此后 FastSpeech、VITS 等方法相继出现,语音的自然度很快接近真人。
大模型时代的 TTS
近几年,TTS 借鉴了大语言模型的思路:把语音也变成 token,用大规模数据训练语言模型式的语音生成模型。这带来了几项新能力:零样本声音克隆,只需几秒参考音频就能模仿一个人的音色;情感和风格控制,可以指定开心、低沉、耳语等说话方式;多语言、跨语言合成;以及低延迟的流式输出,支撑实时语音对话。
需要注意的
声音克隆能力很强,也带来了冒充他人、电信诈骗的风险。正规的产品都会要求证明声音的授权,并对合成语音加入水印。使用他人声音前一定要取得同意。