MMLU 是什么？测大模型知识面的 57 门学科考试

MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）是一个用来评测大语言模型知识和理解能力的基准测试，由加州大学伯克利分校的 Dan Hendrycks 等人在 2020 年发布。它在很长一段时间里是衡量大模型能力最常被引用的指标之一，几乎每个新发布的大模型都会报告自己的 MMLU 成绩。

它考什么

MMLU 包含 57 个不同的学科，题目覆盖了从初中、高中、大学到专业水平的知识。学科范围非常广泛，大致可以分为人文、社会科学、理工科和其他几大类，具体包括初等数学、大学物理、计算机科学、美国历史、世界宗教、哲学、经济学、心理学、法律、医学、会计、营销等等。全部题目都是四选一的多项选择题，总共约一万六千道，其中测试集约一万四千道。题目多来自各类考试和学习资料，比如美国的研究生入学考试、执业医师考试等的练习题。

为什么它有影响力

在 MMLU 之前，很多评测基准只测试语言理解的某一个方面，而且很快就被模型“考满分”。MMLU 的设计目标是全面地考查模型在大量不同领域中的知识广度和运用能力，更接近对一个人综合学识的考查。它发布时，大多数模型的成绩只比随机猜测的 25% 好一点，当时最大的 GPT-3 也只有约 44% 的准确率；而人类专家在自己擅长的领域可以达到很高的准确率。这表明当时的模型离真正掌握广泛的知识还有很大的差距，MMLU 也因此成为衡量大模型进步的一把重要尺子。

逐渐饱和

随着大模型能力的快速提升，MMLU 上的成绩不断攀升，到 2024 年，前沿模型的准确率已经接近 90%，不同模型之间的差距越来越小，这个测试的区分度变得越来越低。研究者还发现，MMLU 中有一部分题目本身存在错误，比如答案标错、题目表述不清，这也限制了它能达到的上限。另外，由于题目在网上公开，模型的训练数据中可能混入了这些题目，导致成绩被高估，这被称为数据污染。

后续的版本

为了应对这些问题，出现了改进的版本：MMLU-Pro 在 2024 年发布，增加了更多需要推理的难题，并把选项从四个增加到十个，降低了靠猜测得分的可能；MMLU-Redux 对原有的题目进行了人工复查，修正了错误的题目。针对中文，也有类似的评测基准，比如 C-Eval 和 CMMLU，考查模型对中国的学科知识和文化常识的掌握情况。如今，人们越来越多地使用更难的评测，比如 GPQA、Humanity's Last Exam（人类最后的考试）等，来区分最前沿模型之间的能力差异。