SubLIME 是什么？只用一小部分题目就能准确给大模型排名
TL;DRSubLIME 是惠普实验室等团队在 2025 年提出的数据高效大模型评测方法，通过预测排名相关性，智能选出小规模但有代表性的评测子集，把评测成本降低 80% 到 99%，同时保持与完整评测高度一致的模型排名，获 ACL 2025 最佳主题论文奖。
SubLIME（Subset Selection via Rank Correlation Prediction for Data-Efficient LLM Evaluation）是一种用更少的题目评测大模型的方法，由惠普实验室等团队在 2025 年 7 月提出，论文发表于 ACL 2025，获得了最佳主题论文奖。
问题：评测越来越贵
评测大模型需要在大量的基准测试上逐题运行。随着模型越来越多、基准越来越大、单次推理越来越贵，完整跑一遍评测的成本和时间都在快速增长。尤其是推理模型，每道题都要生成很长的思考过程，评测成本更是成倍增加。对于需要频繁比较多个模型、多个训练检查点的研发团队来说，这是一笔不小的开销。
SubLIME 的思路
SubLIME 借鉴了奥林匹克数学竞赛的评测策略：竞赛不会出几千道题，而是精心挑选少量但很有区分度的题目，就能准确地分出选手的高下。同样地，评测大模型的目的，很多时候并不是得到每个模型的精确分数，而是知道谁比谁强，也就是模型之间的相对排名。
SubLIME 的做法是：智能地从完整基准中选出一个小规模但有代表性的子集，并预测在这个子集上得到的模型排名，与在完整基准上的排名有多高的相关性。通过预测排名相关性，它可以为不同的基准自动确定合适的子集大小和选题方式：题目足够有区分度、覆盖足够全面时，用很少的题就够了。
效果
论文报告，SubLIME 能把评测成本降低 80% 到 99%，同时保持和完整评测高度一致的模型排名结果。这对于模型开发者在训练过程中频繁地比较检查点、对于评测平台快速评估大量新模型，都很有实用价值，也有助于减少评测带来的算力和能源消耗。