SoCE 是什么？按能力类别挑专家再加权融合的模型汤

SoCE（Soup Of Category Experts，类别专家汤）是一种改进的大模型权重融合方法，由 Meta 和伦敦大学学院的研究人员在 2025 年 11 月提出，论文标题是《Souper-Model：简单的算术如何解锁大模型的最佳性能》。它属于“模型汤”这一类技术：把多个相同架构模型的权重平均，在不重新训练的情况下提升效果。

背景：模型汤的局限

大语言模型的训练非常耗费资源和时间。模型汤，也就是把多个同架构模型的权重做平均，作为一种不需要昂贵重训的提升手段，在预训练和后训练阶段都受到关注。但论文观察到，以往的模型汤方法通常对所有候选模型一视同仁地等权重平均，这可能导致模型在一些对精度很敏感的能力上出现崩塌，比如数学、代码这类“差一点就全错”的任务。

SoCE 的做法

SoCE 基于一个关键观察：不同类别的基准测试之间，模型表现的相关性往往很低。也就是说，一个模型擅长写代码，并不意味着它也擅长多语言翻译或工具调用。于是 SoCE 先根据基准评测，把任务分成若干个彼此相关性较低的类别簇；然后为每个类别挑出表现最好的“专家”候选模型；最后不再等权重平均，而是用经过优化的非均匀权重，把这些专家模型的权重融合起来，目标是最大化综合表现。

效果和意义

论文报告，用这种“简单的算术”融合出的模型，在多个领域的基准上都取得了提升，在函数调用等评测上达到了当时的最好水平，同时保持了各项能力的稳定。它说明模型融合不只是一种省钱的技巧，在大模型后训练中，聪明地组合多个已有的模型，可以在几乎不增加训练成本的情况下兼顾多种能力，这对资源有限的团队尤其有价值。