偏置是什么？神经元里不随输入变化的那个常数项

偏置（Bias）是机器学习中一个使用频繁、含义也较多的词。最常见的用法是指神经网络和线性模型中那个与输入无关的常数项；此外它还可能指统计意义上的偏差、归纳偏置，以及数据和算法中的偏见。理解时需要根据上下文加以区分。

模型中的偏置项

在线性模型中，预测等于各个特征乘以对应的权重再相加，最后再加上一个常数 b，这个 b 就是偏置，也叫截距。在神经网络中，每个神经元把输入加权求和之后，也会加上一个偏置，再送入激活函数。偏置的作用是平移：没有偏置时，线性模型的分界线必须穿过原点，比如在二维平面上，所有的分界直线都只能绕着原点旋转；加上偏置之后，分界线可以平移到任意位置，模型才能灵活地拟合数据。对于神经元来说，偏置相当于调节“激活门槛”：偏置越大，神经元越容易被激活。在最早的人工神经元模型中，就有一个阈值，偏置其实就是负的阈值。偏置和权重一样，都是在训练中通过反向传播和梯度下降学到的参数。在一些层后面接了批归一化或层归一化时，前面层的偏置往往可以省略，因为归一化会抵消它的作用，很多大语言模型为了简化也去掉了大部分偏置项。

统计意义上的偏差

在统计和学习理论中，偏差指的是系统性的偏离：一个估计量的期望值与真实参数之间的差，叫作估计的偏差，比如用除以 n 的公式计算样本方差，会系统性地偏小，是一个有偏估计。在偏差-方差分解中，偏差指模型的期望预测与真实值之间的差距，反映了模型的拟合能力。偏差大意味着欠拟合。

归纳偏置

归纳偏置，也叫归纳偏好，指学习算法对某类假设的先天倾向，比如偏好更简单的模型、假设相邻像素关系密切。它是学习能够泛化的前提，并不是贬义的“偏见”。

社会意义上的偏见

在人工智能伦理的讨论中，偏见指的是模型对某些群体做出不公平的判断。它往往来自训练数据：如果历史数据本身就反映了社会中的不公平，比如过去的招聘记录中某个群体的录用率偏低，模型就可能学到并延续这种不公平；如果某个群体在训练数据中占比很少，模型在这个群体上的表现也可能更差，比如一些早期的人脸识别系统在不同肤色人群上的错误率差别明显。减少这类偏见的方法包括：检查和平衡训练数据、在训练中加入公平性约束、按群体分别评估模型的表现，以及对模型进行审计。很多国家和地区的法规也对算法的公平性提出了要求。

如何区分

当有人说“给这一层加个 bias”，指的是偏置项；说“模型 bias 太高”，通常指偏差大、欠拟合；说“卷积网络的 inductive bias”，指归纳偏置；说“模型存在 bias”，在伦理语境下多指不公平的偏见。