参考模型是什么？作为对照或约束标准的基准模型

参考模型（Reference Model）是一个在不同领域中含义有所不同的术语，共同点是：它作为一个对照、基准或约束的标准，用来与正在研究、训练或评估的对象进行比较。

在大模型对齐中的参考模型

在大语言模型的对齐训练中，“参考模型”有一个非常具体的含义。在基于人类反馈的强化学习（RLHF）中，训练通常从一个经过监督微调的模型开始。研究者会把这个模型复制一份并冻结起来，不再更新它的参数，这份冻结的模型就是参考模型。然后，用强化学习不断地优化另一份模型，也就是策略模型，让它生成能获得更高奖励的回答。

为什么需要参考模型？因为奖励模型只是对人类偏好的一种近似，并不完美。如果只追求奖励的最大化，策略模型可能会找到奖励模型的漏洞，生成一些分数很高但实际上很糟糕的内容，比如重复某些讨好的话、输出奇怪的文字，这叫奖励作弊；它也可能逐渐偏离原来的语言能力，说话变得不自然。为了防止这种情况，训练的目标中会加入一个惩罚项：策略模型对每个回答给出的概率分布，与参考模型给出的概率分布之间的 KL 散度。KL 散度衡量两个分布之间的差异，惩罚它就相当于给策略模型系上一根“缰绳”：可以朝着获得更高奖励的方向改进，但不能离参考模型太远。一个系数用来控制这根缰绳的松紧。

在 2023 年提出的直接偏好优化（DPO）方法中，参考模型同样扮演着核心的角色。DPO 不再需要单独训练奖励模型和进行强化学习，而是直接用偏好数据来优化模型，它的损失函数是基于策略模型与参考模型之间概率的比值来定义的：鼓励策略模型相对于参考模型，提高人类偏好的回答的概率，降低不被偏好的回答的概率。参考模型在这里提供了一个衡量“改变了多少”的基准。也有一些后续的方法尝试去掉参考模型，以节省显存和计算。

在其他机器学习场景中

知识蒸馏：在知识蒸馏中，一个大的、效果好的“教师模型”被用来指导一个小的“学生模型”的训练，教师模型在某种意义上也是学生模型的参考。基线模型：在评估一个新方法时，通常会选择一个或几个已有的、公认的模型作为参考，比较新方法是否有所改进。持续学习：为了防止模型在学习新任务时忘记旧的知识，有些方法会以原来的模型作为参考，约束新模型的输出不要与它相差太远。

在系统设计和工程中

在系统工程和软件架构中，参考模型指的是一种描述某个领域中各组成部分及其关系的抽象框架，它不涉及具体的实现，而是提供一种共同的语言和标准。最著名的例子是国际标准化组织制定的开放系统互连参考模型，也就是 OSI 七层模型，它把网络通信分为物理层、数据链路层、网络层、传输层、会话层、表示层和应用层七个层次，至今仍是理解计算机网络的基本框架。在控制工程中，“模型参考自适应控制”则以一个理想的参考模型的输出作为目标，调整控制器让实际系统的行为尽量接近它。