奥卡姆剃刀是什么？如无必要，勿增实体

奥卡姆剃刀（Occam's Razor）是一种思维原则，通常被表述为“如无必要，勿增实体”：当有多个理论都能同样好地解释某个现象时，应该选择其中假设最少、最简单的那一个。它以 14 世纪英国方济各会修士、哲学家奥卡姆的威廉的名字命名。“剃刀”的比喻是说，要用这把剃刀剃掉那些不必要的假设。

它的来历

奥卡姆的威廉是中世纪经院哲学的重要人物，他在著作中多次表达了类似的思想，比如“不应在没有必要的情况下设定多个东西”。不过，“如无必要，勿增实体”这句流传最广的拉丁文表述，在他现存的著作中并没有找到原文，可能是后人对他思想的概括。类似的思想在更早的亚里士多德、托勒密等人那里也能找到。牛顿在《自然哲学的数学原理》中也提出了相似的原则：“除了那些真实而又足以解释现象的原因之外，不应承认更多的原因。”

在科学中的作用

奥卡姆剃刀在科学史上发挥了重要的作用。一个常被提起的例子是天文学：古代的地心说为了解释行星在天空中复杂的运动，引入了大量的“本轮”和“均轮”，模型变得越来越复杂；而哥白尼的日心说，尤其是后来开普勒用椭圆轨道改进之后，能够以简单得多的方式解释同样的观测数据。简单性成为人们接受日心说的理由之一。不过需要注意的是，奥卡姆剃刀并不是说简单的理论就一定是对的，它只是在多个理论同样能够解释现有证据的情况下，提供一种选择的偏好。如果一个更复杂的理论能够解释更多的现象，或者做出更准确的预测，它就应该被优先考虑。爱因斯坦有一句被广为引用的话，大意是：一切都应该尽可能地简单，但不能过于简单。

在机器学习中的体现

奥卡姆剃刀是机器学习中最常见的一种归纳偏好：当有多个模型都能同样好地拟合训练数据时，倾向于选择更简单的那一个。原因在于，复杂的模型虽然能完美地拟合训练数据，但很可能只是把数据中的噪声和偶然的规律也记了下来，在新的数据上表现很差，也就是过拟合；而简单的模型更可能抓住了数据中真正的、普遍的规律，泛化能力更好。这一思想体现在很多机器学习的方法中：正则化在损失函数中加入对模型复杂度的惩罚；决策树的剪枝去掉不必要的分支；特征选择去掉无关的特征；以及模型选择中常用的赤池信息准则（AIC）和贝叶斯信息准则（BIC），它们在衡量模型对数据的拟合程度时，也会对参数的数量进行惩罚。最小描述长度原则则把奥卡姆剃刀形式化为：最好的模型是能用最短的总描述长度，也就是描述模型本身的长度加上用模型描述数据的长度，来表达数据的那个模型。

需要谨慎的地方

周志华在《机器学习》中指出，奥卡姆剃刀并非唯一可行的原则，而且“什么是更简单”本身往往并不容易判断。比如两个模型，一个参数更少但形式更奇特，另一个参数更多但形式更自然，哪一个更简单？不同的衡量方式可能给出不同的答案。“没有免费的午餐”定理也表明，任何一种归纳偏好，包括偏好简单，都只在与问题本身的特点相匹配时才有效。现代深度学习中，参数量极其庞大的神经网络往往比小模型泛化得更好，这似乎与“偏好简单”的直觉相悖。研究者对此的理解是：“简单”不能仅仅用参数的数量来衡量，大模型通过训练所找到的解，在某种意义上可能仍然是“简单”的，这也是当前研究的热点问题之一。