缩放定律 Scaling Law 是什么？模型越大、数据越多、算力越强，效果越好

缩放定律（Scaling Law）是描述深度学习模型性能如何随规模变化的经验规律。它指的是，模型的某些性能指标，通常是测试损失，或者下游任务的某些表现，与模型的规模属性之间存在着稳定、可预测的数学关系，这些属性包括模型的参数量、训练数据量和训练所用的计算量。这些规律可以帮助指导深度学习模型的设计和训练，并让人们能够在训练之前就预测出模型大致能达到什么样的效果。中文里也常称为规模定律或扩展定律。

OpenAI 的发现

2020 年，OpenAI 的 Jared Kaplan 等人发表了论文《神经语言模型的缩放定律》，系统地研究了语言模型的性能与规模之间的关系。他们发现：语言模型的测试损失，与模型参数量、数据量和计算量之间，都呈现出幂律关系。简单地说，在一个很大的范围内，把模型做大、数据加多、算力加大，模型的损失就会按照可预测的规律平稳地下降，在双对数坐标图上呈现为一条直线。而且，在一定范围内，模型的具体结构细节，比如层数和宽度的比例，对性能的影响相对较小，规模才是决定性的因素。这项研究为 OpenAI 训练 1750 亿参数的 GPT-3 提供了重要的依据。

Chinchilla 定律

2022 年，DeepMind 发表了论文《训练计算最优的大语言模型》，对缩放定律做了重要的修正。他们发现，在给定的计算预算下，为了获得最好的效果，模型的参数量和训练数据量应该同步地按比例增长，大致上，每个参数需要约 20 个 token 的训练数据。按照这个标准，当时很多大模型，包括 GPT-3，都是“训练不足”的：参数太多，训练数据太少。DeepMind 据此训练了 700 亿参数、用 1.4 万亿 token 训练的 Chinchilla 模型，效果超过了参数多得多的 Gopher 等模型。这一规律被称为“Chinchilla 缩放定律”。后来的模型，比如 Llama 系列，往往用远超这一比例的数据来训练较小的模型，因为模型越小，推理时的成本越低。

影响和讨论

缩放定律深刻地影响了大模型的发展：它给了研究者和投资者信心，相信持续地扩大规模就能持续地提升能力，从而推动了对算力和数据的大规模投入。近年来，缩放定律的概念也被扩展到了其他维度：比如推理时的计算量（让模型思考得更久）、强化学习的规模、多模态模型等。与此同时，也有讨论关注它的局限：高质量训练数据可能面临枯竭；规模带来的收益可能放缓；损失的降低并不总能直接对应到具体能力的提升。如何在规模之外找到新的提升路径，比如更好的数据、更好的算法，是当前研究的重要方向。