可图 Kolors 是什么:快手开源的中英双语文生图模型
它是什么
Kolors(可图)是快手可图团队在 2024 年 7 月 6 日开源的文生图大模型,代码和权重发布在 GitHub 的 Kwai-Kolors 组织下,论文标题是《Kolors:用于写实文生图的扩散模型的高效训练》。它是在数十亿对图文数据上训练的潜空间扩散模型,中文和英文双语都能理解,支持 256 token 的提示词长度。发布时它是开源社区里少有的、对中文提示词理解很好的高质量文生图模型。
为什么中文理解好
传统的 Stable Diffusion 系列用 CLIP 做文本编码器,CLIP 主要在英文数据上训练,中文提示词经常理解跑偏,长提示词也容易被截断。Kolors 改用通用大语言模型(智谱的 ChatGLM3)做文本编码,大语言模型对中文语义、复杂描述和长句的理解都强得多,256 token 的长度也让用户可以写更详细的画面描述。这是它和同期开源模型最大的区别。
生态做得很完整
发布后的两个月里,可图团队陆续放出了一整套配套工具,这在开源模型里不多见:Diffusers 官方支持;IP-Adapter-Plus,用参考图控制风格和内容;ControlNet 和局部重绘模型;IP-Adapter-FaceID-Plus,在生成中保留人物身份特征;Dreambooth LoRA 的训练和推理代码,方便用少量图片训练个人风格;姿态 ControlNet;以及基于 Kolors 的虚拟试衣演示。这意味着用 Kolors 不只是能出图,还能搭出一条从控制、编辑到个性化训练的完整工作流。
适合谁
习惯用中文写提示词、想在本地部署文生图的个人创作者和开发者,Kolors 是很合适的选择;做电商图、人像写真、虚拟试衣这类写实场景的团队,配套的 IP-Adapter 和 ControlNet 很实用。商用前要看清楚它的模型许可条款。如今更新一代的开源图像模型在画质和文字渲染上已经更强,追求画面上限的可以对比着选。AI 主线的看法是:Kolors 证明了“用大语言模型当文本编码器”这条路在中文场景下的价值,它完整的配套生态也是开源模型落地的好样板。