多释原则是什么？与数据一致的多种解释都应保留

多释原则（Principle of Multiple Explanations），也叫多重解释原则，是一种认识论上的原则，它主张：如果有多个理论或解释都能与我们观察到的事实相符，那么就应该把它们全部保留下来，而不是武断地只选择其中一个。这一原则通常被认为源自古希腊哲学家伊壁鸠鲁。

伊壁鸠鲁的观点

伊壁鸠鲁是公元前 4 世纪到 3 世纪的古希腊哲学家。在讨论天文和气象等自然现象的成因时，他认为，对于那些我们无法直接观察和验证的现象，比如雷电、日食、月相的变化，如果有多种解释都与我们所观察到的现象相符，就不应该草率地只认定其中一种而排斥其他的解释，因为在没有更多证据的情况下，排除某个与观察相符的解释，本身就是没有根据的。只有当某种解释与观察到的事实相矛盾时，才应该把它排除。罗马诗人卢克莱修在长诗《物性论》中也阐述了这一思想。

与奥卡姆剃刀的对照

多释原则常常与另一个著名的原则“奥卡姆剃刀”放在一起讨论。奥卡姆剃刀由 14 世纪的英国修士奥卡姆的威廉提出，主张“如无必要，勿增实体”，也就是在多个能够解释现象的理论中，应该选择最简单的那一个。两者看起来似乎相互矛盾：一个主张保留所有可能的解释，另一个主张只选择最简单的解释。但实际上，它们是在不同的层面上起作用：多释原则提醒我们不要过早地排除那些与证据相符的可能性；奥卡姆剃刀则提供了一种在需要做出选择时的偏好。在实践中，两者可以结合起来：保留多种可能的解释，但给更简单的解释更高的可信度。

在机器学习中的体现

在机器学习中，这两个原则都有对应的思想。在概念学习中，与所有训练样本都一致的假设往往不止一个，它们组成的集合叫作版本空间。奥卡姆剃刀的做法是从版本空间中挑选一个最简单的假设；而多释原则的做法则是保留整个版本空间，在预测新样本时，综合考虑所有这些假设的意见。

贝叶斯模型平均：这是多释原则最自然的体现。在贝叶斯方法中，我们不只选择一个“最好”的模型，而是考虑所有可能的模型，根据每个模型对数据的解释程度和它的先验概率，计算出它的后验概率，然后把所有模型的预测按照后验概率加权平均。这样，没有任何一个合理的解释被丢弃，同时更有可能的解释获得更大的权重。如果先验概率倾向于简单的模型，奥卡姆剃刀的思想也被自然地融入了进来。

集成学习：随机森林、Bagging 等集成学习方法训练多个不同的模型，再把它们的预测组合起来，也体现了“综合多种解释”的思想。实践表明，这种做法往往比只依赖一个模型更加稳健、准确。

研究者 Ray Solomonoff 在 20 世纪 60 年代提出的算法概率和通用归纳推理理论中，也把这两个原则结合了起来：对所有能够生成观察数据的程序都加以考虑，但给越简单、越短的程序赋予越高的权重。这被认为是关于归纳推理的一种理想化的理论框架。