CogVideoX-2B 是什么:智谱开源的入门级视频生成模型
它是什么
CogVideoX-2B 是智谱 AI 在 2024 年 8 月 6 日开源的文生视频模型,参数 2B,是 CogVideoX 系列里最早开源、也是最轻量的一个。它基于扩散 Transformer(DiT)架构,配合 3D 因果 VAE 压缩视频,采用 Apache-2.0 许可,可以免费商用。CogVideoX 的技术和智谱的“清影”视频产品同源,2B 版本的开源,是当时国内较早把可用的视频生成模型交给社区的尝试。随后智谱又开源了更大的 CogVideoX-5B 和升级的 CogVideoX1.5 系列。
技术上做了什么
CogVideoX 的论文针对以往视频模型“动作幅度小、时长短、难以按文字讲出连贯故事”的问题,提出了几项设计。第一,3D VAE:同时在空间和时间两个维度压缩视频,既提高压缩率,又保持画面保真,减少帧与帧之间的闪烁。第二,专家 Transformer:用专家自适应 LayerNorm 让文本和视频两种模态在网络里深度融合,提升画面和提示词的对齐程度。第三,渐进式训练和多分辨率帧打包,让模型能生成动作幅度更大、时长更长、宽高比更多样的视频。团队还搭建了一套视频数据处理流水线,包括数据清洗和视频描述生成。
规格
CogVideoX-2B 首发时生成的是 6 秒左右、720×480 分辨率的视频。论文的后续版本描述了系列模型升级后能生成 10 秒、16 帧每秒、768×1360 分辨率的连续视频,这对应的是后来的升级版本,而不是最初的 2B 模型。2B 版本最大的优点是门槛低,量化和显存优化后,消费级显卡就能跑。
适合谁
想入门视频生成、在自己电脑上跑通完整流程的开发者和学生,CogVideoX-2B 是很好的起点,Hugging Face Diffusers 等工具也早已支持。研究者可以拿它做微调、加控制模块、做视频编辑等方向的实验。如果追求画质和时长,应该看系列里更大的版本或更新的视频模型。AI 主线的看法是:CogVideoX-2B 的价值在于“开得早、门槛低、许可宽”,为国内开源视频生成社区打下了一个很实用的地基。