归纳是什么？从具体事例中总结出一般规律

归纳（Induction）是一种从具体的、个别的观察和事例出发，总结出一般性的规律或结论的推理方式。它与演绎相对，是人类获取知识的两种基本方式之一，也是机器学习的哲学基础。

归纳与演绎

演绎推理是从一般的原理出发，推出具体的结论。经典的例子是三段论：“所有的人都会死，苏格拉底是人，所以苏格拉底会死。”只要前提是真的、推理的形式是正确的，结论就必然是真的。数学证明就是典型的演绎推理。

归纳推理的方向正好相反，是从具体到一般：“我见过的第一只天鹅是白色的，第二只是白色的，第一千只也是白色的，所以所有的天鹅都是白色的。”归纳能够让我们得出超出已有观察范围的新知识，但它的结论并不是必然正确的，只是有一定的可能性。即使观察了一千只白天鹅，也不能保证第一千零一只就不是黑色的。事实上，欧洲人长期以来都认为天鹅都是白色的，直到 17 世纪末在澳大利亚发现了黑天鹅。“黑天鹅”后来就被用来比喻那些出乎意料、难以预测的事件。

归纳问题

18 世纪的苏格兰哲学家大卫·休谟对归纳提出了一个深刻的质疑，被称为“归纳问题”：我们凭什么相信过去观察到的规律在未来仍然成立？比如我们相信明天太阳会照常升起，只是因为过去每一天太阳都升起了。但“过去如此，未来也会如此”这个信念本身，又只能通过归纳来证明，这就陷入了循环论证。休谟认为，归纳在逻辑上无法得到严格的证明，我们依赖归纳只是出于习惯。这个问题至今仍然是哲学中的一个重要话题。哲学家卡尔·波普尔后来提出，科学理论无法被归纳地证明为真，但可以被反例证伪，科学是通过不断地提出猜想、并接受检验和反驳而进步的。

归纳在科学中的作用

尽管存在理论上的困难，归纳在实际中仍然是不可缺少的。科学研究中，很多规律最初都是通过归纳发现的：开普勒通过分析第谷积累的大量行星观测数据，总结出了行星运动的三大定律；孟德尔通过大量的豌豆杂交实验，总结出了遗传的规律。17 世纪英国哲学家弗朗西斯·培根大力倡导以观察和实验为基础的归纳方法，对近代科学的发展产生了深远的影响。在科学中，归纳和演绎常常结合使用：先通过归纳提出假说，再通过演绎推出可以检验的预测，然后用实验来检验。

机器学习就是归纳

机器学习本质上就是一种归纳：给计算机大量的训练样本，让它从这些具体的例子中总结出一般的规律，再用这些规律去预测从未见过的新数据。比如从成千上万封标注好的邮件中，学到识别垃圾邮件的规律。因此，休谟的归纳问题在机器学习中同样存在：模型在训练数据上学到的规律，凭什么能推广到新的数据上？机器学习对此的回答是：需要假设训练数据和将来的数据来自同样的分布，而且模型需要具有合适的“归纳偏好”，也就是对什么样的规律更可能为真有一定的倾向，比如倾向于选择更简单的规律。“没有免费的午餐定理”也表明，脱离具体的问题来谈哪个学习算法更好是没有意义的。当数据的分布发生变化时，比如遇到训练时从未见过的情况，模型学到的规律就可能失效，这正是机器学习中的“黑天鹅”。