密度定律是什么？大模型的“能力密度”每三个多月翻一番

密度定律（Densing Law）是关于大语言模型发展趋势的一个经验规律，由清华大学自然语言处理实验室刘知远教授团队在 2024 年 12 月提出，论文标题是《大模型的密度定律》。它描述的是：大模型的“能力密度”随时间呈指数级增长。

什么是能力密度

论文定义了“能力密度”：一个模型的有效参数规模与它实际参数规模的比值。有效参数规模是指，如果用一个参考模型系列（按标准方式训练的模型）去达到和这个模型同等的性能，需要多大的参数量。打个比方：如果一个 7B 参数的新模型，表现和用旧方法训练的 70B 模型相当，那么它的有效参数规模就是 70B，能力密度就是 10。能力密度越高，说明每个参数“干的活”越多，模型越“精炼”。

定律的内容

研究团队分析了近年来发布的大量开源基础模型，发现它们的最大能力密度随时间呈指数增长，大约每 3.3 个月翻一番。这意味着，达到同样的能力水平，所需的模型参数量在快速减少：几个月前需要很大的模型才能做到的事，现在用小得多的模型就能做到。这与数据质量的提升、训练方法的改进、模型架构的优化等因素有关。

几个推论

论文从密度定律出发提出了几个推论。一是推理成本快速下降：达到同等能力的模型越来越小，运行它所需的计算和费用也随之大幅降低，这与近年来大模型 API 价格持续下跌的现象相符。二是端侧部署加速：能力密度的提升和芯片算力的提升叠加，让越来越强的模型可以在手机、电脑等终端设备上运行。三是单纯靠压缩已有的大模型（比如剪枝、蒸馏），并不一定能得到密度更高的模型，提升密度更依赖于更好的数据和训练方法。四是任何一个模型的“性价比有效期”都在缩短。

研究团队认为，与只关注把模型做大的规模定律相比，密度定律提供了一个衡量大模型发展质量的新视角：未来的竞争不只是比谁的模型更大，更是比谁的模型“密度”更高。面壁智能的 MiniCPM 系列端侧模型就是在这一理念下发展的。