DALL-E 是什么？OpenAI 根据文字生成图像的模型系列

DALL-E 是 OpenAI 开发的根据文字描述生成图像的人工智能模型系列。它把语言理解和视觉生成结合起来，为创意设计、内容创作、教育等领域开辟了新的可能性。名字是一个有趣的组合：来自超现实主义画家萨尔瓦多·达利（Salvador Dalí）和皮克斯动画电影中的机器人瓦力（WALL-E）。

第一代：2021 年

DALL-E 于 2021 年 1 月发布，被描述为 GPT-3 的一个衍生版本，参数约 120 亿。它的思路是把文字和图像都看作 token 的序列：先把图像压缩成离散的图像 token，再用一个类似 GPT 的 Transformer 模型，根据文字的 token 一个个地生成图像的 token，最后还原成图片。它展示了令人惊讶的能力：能够根据“一把牛油果形状的扶手椅”这样从未在现实中出现过的描述，生成合理又有创意的图像，展现了把不相关的概念组合在一起的能力。同时发布的 CLIP 模型，被用来对生成的多张图片进行筛选排序。

DALL-E 2：2022 年

2022 年 4 月发布的 DALL-E 2 转向了扩散模型的技术路线。它先用 CLIP 把文字描述转换成对应的图像特征，再用扩散模型根据这个特征逐步生成高分辨率的图像。相比第一代，它生成的图像分辨率更高、更逼真、细节更丰富，还支持图像编辑功能：比如在图片中指定一块区域，用文字描述替换成别的东西，或者把图片向外扩展。DALL-E 2 与同时期的 Midjourney、Stable Diffusion 一起，掀起了 AI 绘画的热潮。

DALL-E 3：2023 年

2023 年发布的 DALL-E 3 重点提升了对提示词的理解能力：以往的文生图模型常常会忽略提示词中的部分细节，或者把多个对象的属性搞混。OpenAI 发现，问题之一在于训练数据中图片的文字描述太简略、不准确，于是用专门训练的模型为训练图片重新生成了详细准确的描述，显著提升了模型遵循复杂提示词的能力，图中的文字渲染也有所改善。DALL-E 3 被直接集成进了 ChatGPT：用户可以用自然语言和 ChatGPT 对话，让它帮忙改写和细化提示词，再生成图像。

安全措施和后续

OpenAI 为 DALL-E 设置了多项安全措施：拒绝生成暴力、低俗、仇恨等有害内容，拒绝生成真实公众人物的图像，拒绝模仿在世艺术家的风格，并为生成的图像添加内容来源的元数据。后来，OpenAI 推出了基于 GPT-4o 原生图像生成能力的新一代图像模型，在 ChatGPT 中逐步取代了 DALL-E。