判别式人工智能是什么?和生成式AI的根本区别
判别式人工智能(Discriminative Artificial Intelligence)指的是直接学习"给定输入,输出属于哪一类或是什么值"的模型,比如判断一封邮件是不是垃圾邮件,或者一张图里是猫还是狗。先交代一句,这不是一个有严格定义的行业术语,论文和教材里更常用的说法是"判别模型"(discriminative model),"判别式人工智能"多半是人们和"生成式人工智能"对举时的口语叫法。打个比方:判别式模型像机场的安检员,行李来了只管判断放行还是开箱;生成式模型像做行李的工匠,得先弄清行李长什么样,才能做出一个新的来。
它是怎么回事
用概率的话说,分类任务真正想要的是 p(y|x),意思是"看到输入 x 之后,类别是 y 的概率"。判别式模型直接拟合这个条件概率,或者干脆学一个从输入到标签的映射。生成式模型走另一条路:先学 p(x|y) 和 p(y),也就是每个类别的数据长什么样、各占多大比例,再用贝叶斯公式反推出 p(y|x)。
判别式只关心"边界划在哪",不用把数据本身的分布描述清楚。统计学家 Vapnik 有句常被引用的主张,大意是解决问题就直接解决它,别把一个更一般的问题当作中间步骤,判别式正是这个思路。逻辑回归是最典型的判别式模型,它在离散输入下对应的生成式搭档是朴素贝叶斯。
从哪来的
这组对比在 2001 年的 NIPS 会议上被系统讲清楚,论文是 Andrew Ng 和 Michael Jordan 的《On Discriminative vs. Generative Classifiers: A comparison of logistic regression and naive Bayes》。当时的主流看法是判别式分类器几乎总比生成式好。两位作者用理论和实验说明事情没这么简单:判别式的渐近误差更低,但生成式的朴素贝叶斯能更快逼近它自己(更高)的渐近误差,所以随着训练集变大会出现两个阶段,数据少时生成式可能占优,数据多了判别式胜出。后来也有研究把这个比较推到多分类场景。
2014 年的 GAN 论文(Goodfellow 等人,NIPS 2014)里,这个词也出现在最显眼的位置:系统里一个生成模型 G 负责造样本,一个判别模型 D 负责估计样本是来自训练数据还是来自 G,论文把它们比作造假币的人和抓假币的警察。论文引言还提到,深度学习到那时为止最醒目的成功,多半是把高维感知输入映射到类别标签的判别式模型。
现在在哪用
BERT(Devlin 等人,2018 年发布于 arXiv,后发表于 NAACL 2019)是个好例子。它先在无标注文本上预训练,再只加一个输出层就能微调去做问答、语言推断等任务,加上去的那层输出,本质上就是判别式的分类头。
大语言模型的对话和写作能力是生成式的,GPT-3 一类模型的训练目标就是预测下一个词。但训练流程里常有判别式的零件。InstructGPT(Ouyang 等人,OpenAI,2022)的做法是让标注员给同一个提示的多个回答排序,用这些比较数据训练一个奖励模型,预测标注员更喜欢哪个回答,再拿它的打分去做 PPO 强化学习。奖励模型不写字,只读入"提示加回答",吐出一个分数。至于 Claude、GPT、Gemini、Qwen、DeepSeek 各家内部具体用了哪些判别式组件,多数没有公开细节,这里不去猜。
容易混的地方
第一个误区是把"判别式"当成"老派、过时"。上面几个例子都在今天的大模型流程里,只是分工不同:生成式负责产出,判别式负责筛选、打分、分类。
第二个误区是混淆"任务"和"模型"。你让一个对话大模型给评论打"好评还是差评",任务是判别式的,模型本身却是生成式的,它是把标签当作文字生成出来。反过来,BERT 加分类头是判别式模型做判别式任务。选型的时候先问清楚自己要的是"打标签、审核、排序"还是"产出内容",这两类需求的合适工具往往不是同一种。
第三个误区是"判别式一定比生成式准"。Ng 和 Jordan 的结果正是对这句话的修正:结论取决于数据量,不是一边倒。
对使用者还有一个提醒:奖励模型的分数只是人类偏好的替身。InstructGPT 在强化学习阶段加了 KL 惩罚,约束模型别偏离原来的输出分布太远,防的就是它钻奖励模型的空子,生成一些分数高但读起来不对劲的文本。我们 AI主线 的建议是,看到"评分""偏好""裁判"这类说法时,先想想打分的是不是一个判别式模型,它的偏差来自哪批标注数据。