权重是什么？神经网络里决定每个输入重要程度的参数

权重（Weight）是机器学习模型，尤其是神经网络中最核心的参数。它表示一个输入对输出的影响有多大，或者说神经网络中两个神经元之间连接的强度。模型从数据中“学到的知识”，主要就存储在这些权重的数值之中。

权重的作用

以最简单的线性模型为例：预测房价时，模型可能会这样计算：房价等于面积乘以一个权重，加上房龄乘以另一个权重，加上离地铁站的距离乘以第三个权重，再加上一个偏置。每个权重决定了对应的因素对房价的影响有多大、是正面还是负面的：面积的权重是一个较大的正数，说明面积越大房价越高；房龄和离地铁的距离的权重可能是负数，说明房子越旧、离地铁越远，房价越低。权重的绝对值越大，说明这个因素的影响越大。

在神经网络中，每个神经元接收来自上一层多个神经元的输入，每一个输入都乘以一个对应的权重，然后加在一起，再加上一个偏置，经过激活函数后输出。可以把权重想象成调音台上的一个个旋钮：每个旋钮控制着一路信号的音量大小，调整所有的旋钮，就能改变最终输出的声音。一个大型的神经网络有成千上万甚至数千亿个这样的“旋钮”。

权重是怎么学来的

权重并不是由人手工设定的，而是模型在训练过程中自动从数据中学到的。训练开始时，权重通常被初始化为一些较小的随机数，此时模型的预测基本是随机的。然后，模型对训练数据做出预测，通过损失函数计算预测结果与正确答案之间的差距；再通过反向传播算法计算出每一个权重对这个差距的影响，也就是梯度；最后用梯度下降等优化算法，把每个权重朝着让误差减小的方向调整一点。经过大量这样的迭代，权重逐渐调整到能让模型做出准确预测的数值。

权重的初始值很重要：如果全部初始化为相同的值，所有神经元会学到一样的东西；如果初始值太大或太小，可能导致梯度爆炸或梯度消失。因此人们提出了 Xavier 初始化、He 初始化等方法。为了防止权重变得过大导致过拟合，训练时还常常使用权重衰减，也就是 L2 正则化。

权重与偏置

除了权重，神经网络中还有另一种参数叫偏置。权重决定了各个输入的重要程度，偏置则是一个额外加上的常数，它让神经元在所有输入都为零时也能有输出，相当于调整了激活的门槛。权重和偏置合起来，就是模型的全部可学习参数。

大模型中的权重

在谈论大语言模型时，人们常说的“参数量”，比如“70 亿参数”“6710 亿参数”，主要指的就是模型中权重的数量。开源模型发布时提供下载的“模型权重”或“权重文件”，就是训练好的所有权重的数值，有了它们，就可以在自己的设备上运行这个模型。权重文件的大小取决于参数量和每个参数所用的精度：用 16 位精度存储时，每个参数占 2 个字节，一个 70 亿参数的模型就需要大约 14GB 的存储空间。为了让大模型能在显存较小的设备上运行，常常会进行量化，用 8 位、4 位甚至更低的精度来存储权重，以少量的精度损失换取大幅减少的内存占用。所谓“开放权重”模型，指的就是公开了这些权重数值、允许他人下载使用的模型。