解码时重新对齐 DeRa 是什么？不用重训就能调节模型的对齐程度

解码时重新对齐（Decoding-time Realignment，DeRa）是一种在生成回答时调整模型对齐程度的方法，由瑞士巴塞尔大学、英国和法国的大学，以及谷歌 DeepMind 和谷歌研究院的研究人员在 2024 年合作提出，论文标题是《语言模型的解码时重新对齐》，发表于 ICML 2024。

背景：对齐的“度”很难把握

大模型在预训练后，需要通过对齐训练，比如基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO），让它的回答更符合人类的偏好，更有帮助、更安全。对齐训练中有一个关键的超参数，用来控制模型在多大程度上偏离原来的模型，通常是 KL 散度正则化的强度。正则化太强，模型对齐得不充分，效果提升有限；正则化太弱，模型可能过度追求奖励，出现奖励黑客、回答变得冗长或怪异，甚至丧失原有的能力。找到合适的强度通常需要反复试验：用不同的强度分别训练好几个模型，再比较哪个最好。对于大模型来说，每训练一次都非常昂贵。

DeRa 怎么做

DeRa 的核心发现是：用不同正则化强度对齐得到的模型，可以通过一个简单的方式近似出来，而不需要重新训练。具体来说，在生成回答的每一步，同时用对齐后的模型和对齐前的参考模型（通常是监督微调后的模型）计算下一个词的概率分布，然后把两者按一定的比例在对数概率的层面上进行混合。混合的比例就相当于调整了对齐的强度：更偏向对齐后的模型，对齐程度就更强；更偏向参考模型，对齐程度就更弱。甚至可以“外推”，得到比训练时更强的对齐效果。论文从理论上证明了，这种混合近似于用对应强度的正则化重新训练得到的模型。

有什么用

DeRa 让研究者和开发者只需要训练一次对齐模型，就能在生成时灵活地探索不同的对齐强度，快速找到最合适的设置，大大节省了调参的成本。它还可以根据不同的使用场景，动态地调节模型的行为：比如对安全性要求高的场景，用更强的对齐；需要更多创造性的场景，适当减弱。代价是生成时需要同时运行两个模型，推理成本有所增加。论文在摘要、对话和减少幻觉等任务上验证了这一方法的有效性。