生成模型是什么？学会数据的分布，再造出新的数据

生成模型（Generative Model）是一类学习数据本身是如何分布、如何“产生”出来的模型。它学会了数据的概率分布之后，就能够据此生成与训练数据相似的全新样本。今天的生成式人工智能，包括能写文章的大语言模型、能画图的文生图模型、能做视频的视频生成模型，本质上都是生成模型。

生成模型和判别模型

在机器学习中，生成模型常常与判别模型相对比。以区分猫和狗的照片为例：判别模型只关心如何把猫和狗区分开，它学习的是“给定一张图片，它是猫还是狗的概率”，也就是在两类之间画出一条分界线，而不关心猫和狗本身长什么样；生成模型则试图了解猫的图片是什么样的、狗的图片是什么样的，学习每一类数据自身的分布。打个比方：判别模型像一个只会做选择题的学生，知道怎么区分答案；生成模型像一个真正理解了内容的学生，不仅能做选择题，还能自己写出一篇文章。

从概率的角度说，判别模型学习的是在给定输入的条件下输出的概率；生成模型学习的是数据本身的概率分布，或者输入和输出的联合分布。正因为学到了数据的分布，生成模型可以从中“采样”，生成新的数据。

传统的生成模型

在深度学习之前，就已经有很多经典的生成模型：朴素贝叶斯分类器，学习每个类别下各个特征的分布，再用贝叶斯定理进行分类；高斯混合模型，用多个高斯分布的组合来描述数据的分布；隐马尔可夫模型，用于语音识别、词性标注等序列数据的建模；以及受限玻尔兹曼机等。

深度生成模型

深度学习兴起之后，出现了多种强大的深度生成模型。变分自编码器（VAE，2013 年）：把数据压缩到一个低维的潜在空间，再从潜在空间中还原出数据，通过在潜在空间中采样来生成新数据。生成对抗网络（GAN，2014 年）：让生成器和判别器相互对抗，生成器学会造出以假乱真的数据。自回归模型：把数据看作一个序列，一个接一个地预测下一个元素，GPT 等大语言模型就属于这一类，它们通过学习“预测下一个词”学到了语言的分布。流模型：通过一系列可逆的变换，把简单的分布变换成复杂的数据分布，可以精确地计算概率。扩散模型（2020 年起流行）：通过学习逐步去除噪声来生成数据，成为如今图像和视频生成的主流方法，Stable Diffusion、Sora 等都基于扩散模型或其变体。

生成模型的用途

生成新的内容：文字、图片、音乐、视频、三维模型、代码。数据增强：生成更多的训练数据，尤其是在真实数据稀缺或涉及隐私的情况下。补全和修复：补全图片中缺失的部分，修复老照片，提高图像的分辨率。科学研究：设计新的蛋白质、药物分子和材料。异常检测：学会了正常数据的分布之后，那些在这个分布下概率很低的数据就可能是异常。生成模型的强大能力也带来了挑战，比如生成虚假信息和伪造内容、版权争议等，需要通过技术手段和法律法规加以规范。