归纳学习是什么？从样本中学出能推广的一般规律

归纳学习（Inductive Learning）是指从具体的训练样本中，总结出一般性的规律或模型，再用这个规律去对新的、从未见过的样本进行预测的学习方式。它是机器学习最主要的范式，我们熟悉的大多数机器学习方法，比如决策树、神经网络、支持向量机，都属于归纳学习。

广义和狭义的归纳学习

周志华在《机器学习》中指出，归纳学习有广义和狭义之分。广义的归纳学习大体上相当于从样例中学习，凡是从训练数据中学到可以推广的模型的方法，都属于这一类。狭义的归纳学习则特指从训练数据中学得概念，因此也被称为“概念学习”或“概念形成”。比如从一些“好瓜”和“坏瓜”的例子中，学出“好瓜”这个概念的描述，像“色泽青绿、根蒂蜷缩、敲声浊响的瓜是好瓜”。概念学习中最基本的是布尔概念学习，也就是学习判断“是”或“不是”的概念。

学习就是在假设空间中搜索

归纳学习可以看作一个在“假设空间”中进行搜索的过程。所有可能的规律或模型组成了假设空间，比如在西瓜的例子中，所有可能的“好瓜”的描述方式。学习的目标就是在这个空间中，找到一个与所有训练样本都相符的假设，也就是能把训练集中的好瓜都判断为好瓜、坏瓜都判断为坏瓜的规律。

但问题在于，与训练样本相符的假设往往不止一个，可能有很多个，它们组成的集合叫作“版本空间”。这些假设在训练数据上表现得一样好，但在新的样本上可能给出不同的预测。那么应该选择哪一个呢？这就需要学习算法具有某种“归纳偏好”，也就是对某些类型的假设有所偏爱。最常用的偏好是“奥卡姆剃刀”原则：如无必要，勿增实体，在多个与数据一致的假设中，选择最简单的那一个。任何一个有效的机器学习算法都必然有它的归纳偏好，否则它在面对多个同样“正确”的假设时就无法做出选择，产生确定的学习结果。

归纳学习的基本假设

归纳学习之所以能够成功，依赖于一个基本的假设：训练样本和将来要预测的新样本，都来自同一个未知的分布，并且是独立地抽取出来的。只有在这个假设下，从训练样本中学到的规律才可能推广到新的样本上。如果将来遇到的数据与训练数据的分布差别很大，学到的模型就可能失效。

归纳学习与直推学习

与归纳学习相对的是直推学习，也叫转导学习，由 Vladimir Vapnik 在 20 世纪 90 年代推广。在归纳学习中，目标是学到一个通用的模型，能够对将来出现的任何新样本进行预测。而在直推学习中，我们事先就已经知道需要预测的是哪些样本，目标只是对这一批特定的样本给出预测，而不需要得到一个通用的模型。Vapnik 认为，在信息有限的情况下，解决一个具体的问题，不应该先去解决一个更一般、更困难的问题作为中间步骤。在半监督学习中，有些方法就采用了直推的方式，同时利用有标签和没有标签的数据进行学习，直接对那些没有标签的数据进行预测。