硬投票是什么？每个模型只投一票类别，少数服从多数

硬投票（Hard Voting）是集成学习中把多个分类器的结果组合起来的一种最简单的方式：每个分类器只给出一个类别作为自己的“一票”，最后统计各个类别得到的票数，选择得票最多的那个类别作为最终的预测。它就是我们日常所说的“少数服从多数”。

硬投票是怎么做的

假设有五个分类器判断一张图片中的动物：三个说是猫，两个说是狗。按照硬投票，猫得三票、狗得两票，最终的预测结果就是猫。对于有多个类别的问题也一样，统计每个类别的票数，取最多的那一个。如果出现平票，比如四个分类器两两分歧，常见的处理方式是随机选择一个，或者优先选择表现更好的分类器所投的类别。因此在二分类问题中，通常使用奇数个分类器，以避免平票。

硬投票的几种变体

相对多数投票：只要求得票最多即可，不要求超过半数，这是最常用的形式。绝对多数投票：要求某个类别的得票超过总票数的一半才被采纳，否则拒绝给出预测。这在对可靠性要求很高的场合很有用，可以把各个模型意见很不一致的“疑难”样本交给人工处理。加权投票：给不同的分类器分配不同的权重，表现更好的分类器的一票更有分量，权重通常根据它们在验证集上的表现来确定。

硬投票与软投票

与硬投票相对的是软投票：每个分类器不只是给出一个类别，而是给出属于各个类别的概率，把这些概率平均之后，选择平均概率最高的类别。两者的区别在于是否考虑了每个分类器的“把握程度”。举个例子：三个分类器判断猫和狗，前两个都以 51% 的微弱把握认为是猫，第三个以 99% 的把握认为是狗。按硬投票，两票对一票，结果是猫；按软投票，猫的平均概率约为 34.7%，狗约为 65.3%，结果是狗。硬投票把前两个犹豫不决的判断和第三个非常确定的判断同等看待，丢失了置信度的信息。

如何选择

硬投票的优点是：简单直观；不需要分类器输出概率，任何能给出类别的分类器都可以参与，比如原始的支持向量机、规则分类器；不受各个分类器概率是否校准的影响，有时更加稳健。软投票的优点是利用了更多的信息，当各个分类器给出的概率比较可靠时，效果通常比硬投票更好。但如果某些分类器的概率不准确，比如习惯给出非常极端的概率，它可能会主导软投票的结果，这时硬投票反而更安全，或者需要先对概率进行校准。在 scikit-learn 等机器学习库中，投票分类器可以通过一个参数方便地在两者之间切换。无论哪种方式，投票能够提升效果的前提都是：各个分类器本身要有一定的准确性，并且它们犯的错误要尽量不同。