模型汤 Model Soups 是什么？把多个微调模型的权重平均一下
TL;DR模型汤（Model Soups）是华盛顿大学和谷歌等团队在 2022 年提出的方法，把多个用不同超参数微调出来的模型权重直接平均，在不增加推理成本的情况下提高准确率和鲁棒性，入选 ICML 2022。
模型汤（Model Soups）是把多个微调模型的权重直接平均起来的方法，由华盛顿大学、谷歌等机构的研究人员在 2022 年提出，论文标题是《模型汤：平均多个微调模型的权重，在不增加推理时间的情况下提高准确率》，入选 ICML 2022。中文也常被称为模型融合或模型汤。
它挑战了一个惯例
训练模型时的常规做法是：用不同的超参数（比如学习率、训练轮数、数据增强方式）训练多个模型，在验证集上挑出表现最好的那一个，其余的全部扔掉。论文重新审视了“只留最好的一个”这一步。研究者发现，在微调大型预训练模型时，用不同超参数微调出来的模型，往往落在同一个“低误差盆地”里，也就是说它们的权重彼此相近、处于同一片好的区域。既然如此，把它们的权重平均一下，得到的新模型往往比其中任何一个都好。
怎么做、效果如何
做法非常简单：把多个微调模型对应位置的参数取平均。论文还提出了“贪心汤”的做法：按验证集表现从高到低依次尝试把模型加入平均，只有加入后效果变好才保留，避免拉低整体效果。和模型集成（同时运行多个模型再合并结果）不同，模型汤最终只有一个模型，所以推理时的计算成本和单个模型完全一样，不需要额外训练。论文在 CLIP、ViT 等模型上验证了这一方法，准确率和面对分布变化时的鲁棒性都有提升，当时在 ImageNet 上刷新了最好成绩。
后续影响
模型汤开启了“模型融合”这一研究方向。在大模型时代，把多个微调模型、甚至不同能力的模型通过加权平均等方式合并成一个，已经成为开源社区和厂商常用的技巧，能在几乎零额外成本的情况下组合不同模型的长处。