Stable Audio Open 是什么:能生成 47 秒音效的开源音频模型
它是什么
Stable Audio Open 1.0 是 Stability AI 在 2024 年 6 月 5 日开源的文本生成音频模型,模型仓库是 stabilityai/stable-audio-open-1.0。它根据一句文字提示,生成最长 47 秒、44.1kHz 立体声的音频。和 Stability AI 的商业产品 Stable Audio 相比,开源版专门优化的是短音频素材:鼓点、乐器片段、环境音、拟音(foley)和各种制作用的音效元素,而不是完整的歌曲。
能做什么
官方列出的用途包括:生成鼓点和节奏型,生成乐器的小段旋律(riff),生成环境氛围音,生成拟音录音,以及其他用于音乐制作和声音设计的素材。它还支持对已有音频样本做变体和风格迁移。比如写“模拟合成器上温暖的琶音,滤波截止频率逐渐升高”,就能得到一段可以直接拖进编曲软件的素材。
能用自己的声音微调
开源的最大好处是可以微调。官方举的例子是:一位鼓手可以用自己录的鼓样本微调模型,让它生成带有自己风格的新鼓点。对音效设计师来说,用自己的素材库微调,就能得到一个风格统一的“专属音效生成器”。
技术和数据
Stable Audio Open 是潜空间扩散模型:先用自编码器把音频压缩到潜空间,再由扩散 Transformer 根据文本条件生成,最后解码回波形。训练数据来自 Freesound 和 Free Music Archive 等平台上采用知识共享许可的音频,Stability AI 在发布时强调了这一点,以回应外界对训练数据版权的关注。正因为训练数据以音效和素材为主,它不擅长生成带人声的完整歌曲,也生成不了清晰的歌词演唱。
适合谁
音乐制作人、声音设计师、游戏和视频的音效师,是它最直接的用户:快速生成素材、做变体、建立自己的音效库。研究音频生成的开发者,可以用它做微调和下游实验。它采用 Stability AI 社区许可,商用前要确认条款。AI 主线的看法是:Stable Audio Open 找准了一个很实用的定位,不和完整歌曲生成正面竞争,专心做制作人工作台上的素材工具。