Meta-rater 是什么？从四个维度挑选大模型预训练数据

Meta-rater 是一种多维度筛选大模型预训练数据的方法，由上海人工智能实验室和华东师范大学在 2025 年 6 月提出，论文标题是《Meta-rater：面向语言模型预训练的多维数据选择方法》，获得了 ACL 2025 最佳主题论文奖。

为什么要筛选预训练数据

大模型的能力很大程度上取决于预训练数据的质量。互联网上的原始文本数量巨大，但质量参差不齐：有大量广告、乱码、重复内容、低质量的文章。在有限的训练算力下，挑出更好的数据来训练，往往比单纯堆数据量更有效。已有的数据筛选方法通常只看单一维度，比如只看“像不像教材”的教育价值评分，或者只用某个分类器打分，可能会漏掉其他方面的质量信息，甚至带来偏差。

四个质量维度

Meta-rater 提出从四个维度来评价一段文本的质量：专业性，内容是否具有专业知识和深度；可读性，文字是否清晰易懂、结构良好；推理性，内容是否包含逻辑推理过程；干净程度，文本是否整洁、没有噪音和格式问题。研究者用这四个维度对数据进行打分，并把它们与已有的各种质量指标整合在一起，总共形成二十多个质量分数。

怎么综合这些分数

有了多个维度的分数，关键是怎么组合：每个维度该占多大权重？Meta-rater 的做法是用代理模型来学习：先用不同权重组合筛选出的数据训练一批小规模的代理模型，观察它们在验证集上的损失；再训练一个回归模型，根据权重组合预测验证集损失；最后用这个回归模型找出能让验证损失最低的最优权重组合，用来筛选真正大规模训练所需的数据。

效果

论文报告，用 Meta-rater 筛选的数据训练模型，收敛速度大约是随机选择数据的两倍，下游任务的表现也明显提升，而且这种优势在更大规模的模型上依然存在。研究团队还开源了经过多维度标注的大规模预训练数据集，方便社区研究数据质量问题。