模型参数是什么？模型从数据中学到的那些数字

模型参数（Model Parameters）是控制机器学习模型行为的变量。它们是在训练过程中，从数据中学习得到的，训练完成后，模型就依靠这些参数，对新的、没见过的数据做出预测或决策。模型参数是机器学习模型最重要的组成部分，因为它们对模型的准确性和性能有很大的影响。

参数是什么样子

以最简单的线性回归为例：用房屋面积预测房价，模型可以写成“房价等于面积乘以 w 再加上 b”。这里的 w 和 b 就是模型的参数：w 表示每平方米大约值多少钱，b 是一个基础值。训练的过程，就是根据大量的真实房屋数据，找到最合适的 w 和 b，让预测的房价和真实的房价尽量接近。

神经网络的参数主要是权重和偏置：神经元之间的每一个连接都有一个权重，表示这个连接的强弱；每个神经元还有一个偏置。一个神经网络可能有成千上万、数百万乃至数千亿个这样的数字。模型从数据中学到的所有“知识”和“能力”，最终都以这些数字的形式存储下来。训练时，模型通过反向传播和梯度下降等算法，一点点地调整这些数字，让模型的预测越来越准确。

参数和超参数的区别

与模型参数相对的，是超参数。超参数是研究人员在训练开始之前设定的，用来控制训练过程和模型结构，它们不是从数据中学到的。常见的超参数包括：学习率（每次调整参数的步子有多大）、批次大小、训练的轮数、神经网络的层数和每层神经元的数量、正则化的强度等。打个比方：模型参数就像学生在学习中掌握的知识；超参数则像是学习的计划和方法，比如每天学多久、用什么教材、多久复习一次。选择合适的超参数，往往需要通过在验证集上反复试验来确定，这个过程叫“调参”。

大模型的参数量

人们常用参数量来衡量一个模型的规模，比如“70 亿参数的模型”“1750 亿参数的 GPT-3”，常用 B（十亿）作为单位，比如 7B、70B。一般来说，在训练数据和方法相当的情况下，参数越多，模型能存储的知识越多、能力越强，但所需的计算资源和存储也越大。参数量也直接决定了运行模型所需的显存：比如一个 70 亿参数的模型，每个参数用 16 位浮点数存储，就需要约 14GB 的显存来存放参数本身。需要注意，参数量并不是衡量模型能力的唯一标准：训练数据的质量和数量、训练方法、模型架构都同样重要。混合专家（MoE）模型还会区分“总参数量”和“激活参数量”：总参数可能很大，但每次推理只用到其中的一小部分。