音频生成是什么？AI 怎样合成音乐、音效和声音

音频生成（Audio Generation）是让 AI 自动合成声音内容的技术。根据一段文字描述、一段参考音频或其他条件，它可以生成音乐、语音、环境声和各种音效。比如输入“雨夜里远处传来的雷声和汽车驶过积水的声音”，模型就能生成对应的音频。语音合成（TTS）和音乐生成都是音频生成的分支。

难在哪里

声音信号的数据量很大，一秒钟 CD 音质的音频就有四万多个采样点，直接建模非常困难。而且声音是混合的：多个人同时说话、背景噪声、房间混响，都叠加在一起，要分辨出声音里的不同“物体”本身就很难。还有长时间结构的问题：一段音乐要有前奏、主歌、副歌的完整结构，几分钟里不能跑调、不能乱节奏。

两条主要技术路线

离散 token 加自回归模型：先用神经音频编解码器把音频压缩成离散的 token 序列，就像把声音变成“文字”，再用语言模型一个 token 一个 token 地生成。2022 年 Meta 和耶路撒冷希伯来大学提出的 AudioGen 就是这个思路：它在学到的离散音频表示上，用自回归模型根据文字描述生成音频样本，并针对多声源分离、真实录音环境等难点做了专门处理。Meta 后来的 MusicGen 也沿用了类似方法。

扩散模型：像图像生成一样，在音频的频谱或潜空间上从噪声逐步去噪得到声音，比如 AudioLDM、Stable Audio 等。扩散方法在音质和长度控制上有优势。近年也有两者结合、或者用流匹配的方法。

应用和注意事项

游戏和影视的音效制作、短视频配乐、广告音乐、播客背景音、声音设计素材库、无障碍辅助等，都在使用音频生成。音乐生成已经能写出带人声的完整歌曲。使用时要注意版权问题：生成作品是否可以商用取决于服务条款，不要刻意模仿受版权保护的作品或特定歌手的声音。