个体学习器是什么？集成学习中被组合起来的单个模型

个体学习器（Individual Learner）是集成学习中参与组合的每一个单独的模型。集成学习通过训练多个个体学习器，再按照某种策略把它们的预测结果结合起来，来获得比单个模型更好的效果。个体学习器就是构成集成的“零件”。

同质集成和异质集成

根据个体学习器的类型是否相同，集成可以分为两种。同质集成：所有的个体学习器都是同一种类型的模型。比如随机森林中的每一棵都是决策树，AdaBoost 中的每一个通常都是很浅的决策树。在同质集成中，个体学习器也被称为基学习器，生成它们的算法叫作基学习算法。异质集成：个体学习器是不同类型的模型，比如同时包含一个决策树、一个支持向量机、一个神经网络和一个逻辑回归模型。在异质集成中，个体学习器通常被称为组件学习器，因为不存在一个统一的基学习算法。堆叠集成常常采用异质的个体学习器。

弱学习器和强学习器

个体学习器的能力可强可弱。弱学习器是指泛化能力只比随机猜测略好一点的学习器，比如在二分类问题上准确率只比 50% 高一点的模型，常见的例子是只有一层划分的决策树，也叫决策树桩。提升算法的一个重要理论成果是：可以把很多个弱学习器组合成一个准确率很高的强学习器。不过在实践中，为了用较少的个体学习器获得好的效果，人们也常常使用能力较强的模型作为个体学习器。

好而不同

集成学习能否成功，很大程度上取决于个体学习器。周志华在《机器学习》中把要求概括为“好而不同”。“好”是指个体学习器要有一定的准确性，至少要比随机猜测好。如果个体学习器本身很差，组合起来也不会好。“不同”是指个体学习器之间要有多样性，也就是它们犯的错误要尽量不同。如果所有的个体学习器都一模一样，对同样的样本做出同样的判断，那么组合它们与只用一个没有任何区别。只有当它们犯的错误各不相同时，在投票或平均的过程中，一个学习器的错误才能被其他学习器纠正。

这两个要求之间存在一定的矛盾：个体学习器越准确，它们之间的判断往往就越相似，多样性就越低。如何在准确性和多样性之间取得平衡，是集成学习研究的核心问题之一。

如何增加个体学习器的多样性

对数据样本进行扰动：让每个个体学习器在不同的训练样本子集上训练，比如 Bagging 中的有放回随机抽样，或者提升算法中调整样本的权重。对输入特征进行扰动：让每个个体学习器只使用一部分随机选出的特征，比如随机子空间方法，以及随机森林在每个节点上随机选择候选特征。对输出表示进行扰动：比如输出调制法对训练标签加入随机的噪声，纠错输出码把多分类问题拆分成不同的二分类问题。对算法参数进行扰动：使用不同的超参数、不同的初始值来训练个体学习器，比如用不同的随机种子训练多个神经网络。使用不同类型的算法，也就是采用异质集成。