归纳偏好是什么？学习算法对某类假设的天然倾向

归纳偏好（Inductive Bias），也常译为归纳偏置，是指机器学习算法在学习过程中，对某种类型的假设或模型所具有的倾向性。当有多个模型都能同样好地解释训练数据时，算法需要依靠这种倾向来决定选择哪一个。可以说，归纳偏好就是算法在数据之外“自带”的那部分假设。

为什么必须有归纳偏好

假设平面上有几个数据点，我们想找到一条曲线来描述它们之间的关系。能够完美地穿过这几个点的曲线有无数条：可以是一条平滑的曲线，也可以是一条疯狂地上下波动、但恰好穿过每一个点的曲线。在训练数据上，它们的表现完全一样好，都没有任何误差。但对于新的数据点，它们给出的预测却可能天差地别。仅凭训练数据，无法判断哪一条才是对的。学习算法必须对“什么样的曲线更可能是真实的”有某种倾向，否则它就无法做出选择，也就无法对新的数据进行预测。这种倾向就是归纳偏好。卡内基梅隆大学的 Tom Mitchell 在 1980 年的论文中强调了这一点：一个没有任何归纳偏好的学习器，除了死记硬背训练数据之外，无法对任何新的样本做出合理的推断。

常见的归纳偏好

偏好简单：最常见的归纳偏好是“奥卡姆剃刀”原则：如无必要，勿增实体。在多个能解释数据的假设中，选择最简单的那个。正则化方法就体现了这种偏好，它惩罚过于复杂的模型。决策树算法也倾向于构建较浅、较小的树。平滑性：倾向于认为相似的输入应该有相似的输出，函数应该是平滑变化的，而不是剧烈跳动的。K 近邻算法就基于这样的假设。线性：线性回归和逻辑回归假设输入和输出之间是线性的关系。最大间隔：支持向量机倾向于选择离两类样本都尽可能远的分界线。

神经网络架构中的归纳偏好

深度学习中不同的网络架构，体现了对数据结构的不同假设。卷积神经网络具有局部性和平移不变性的偏好：它假设图像中相邻的像素关系更密切，并且同一个特征，比如一只眼睛，无论出现在图像的哪个位置都应该被同样地识别出来。这非常符合图像的特点，所以卷积神经网络能用较少的参数和数据就学好图像任务。循环神经网络假设数据是按顺序排列的，当前的状态依赖于之前的状态。图神经网络假设数据的关系可以用图来表示，相连的节点之间相互影响。Transformer 的归纳偏好相对较弱：自注意力机制允许任意两个位置之间直接产生联系，并不预先假设局部性。这让它非常灵活、通用，但也通常需要更多的数据来学习。研究发现，在数据量较少时，卷积神经网络在图像任务上往往比视觉 Transformer 表现更好；而当数据量非常大时，Transformer 能够从数据中学到合适的规律，表现会超过卷积神经网络。

没有免费的午餐

1997 年，David Wolpert 和 William Macready 提出的“没有免费的午餐”定理指出：如果对所有可能的问题一视同仁地进行平均，那么所有的学习算法的平均表现都是一样的，没有哪个算法在所有问题上都比其他算法好。这意味着，一个学习算法之所以在某些问题上表现好，正是因为它的归纳偏好与这些问题的实际特点相匹配。脱离具体的问题来谈论哪个算法更好，是没有意义的。因此，在实践中，选择或设计一个与问题的特点相契合的归纳偏好，是机器学习成功的关键之一。