相对多数投票法是什么？得票最多的类别胜出

相对多数投票法（Plurality Voting）是集成学习中把多个分类器的预测结果组合起来的一种投票规则：每个分类器投出一票，最终选择得票最多的那个类别作为预测结果，并不要求这个类别的得票超过半数。如果同时有多个类别获得了最多的票数，就从中随机地选择一个。它是周志华《机器学习》中介绍的三种投票结合策略之一，另外两种是绝对多数投票法和加权投票法。

与绝对多数投票法的区别

两者的区别在于是否要求得票“过半”。绝对多数投票法要求某个类别的得票必须超过总票数的一半，才会被采纳；如果没有任何一个类别过半，就拒绝给出预测。相对多数投票法则只要求得票最多即可。举个例子：有 10 个分类器对一个样本进行分类，类别甲得 4 票，类别乙得 3 票，类别丙得 3 票。按照相对多数投票法，类别甲得票最多，结果就是类别甲；而按照绝对多数投票法，没有任何一个类别超过 5 票，模型会拒绝给出预测。在只有两个类别、并且分类器的数量为奇数的情况下，得票最多的类别一定超过半数，两种方法的结果是一样的。在类别很多时，票数往往比较分散，绝对多数投票可能经常拒绝预测，而相对多数投票总能给出一个结果，因此在需要对每个样本都给出预测的场合，相对多数投票法更为常用。

平票的处理

当多个类别的得票数相同且都是最多时，最简单的做法是从中随机地选择一个。其他的做法包括：优先选择那些表现更好的分类器所投的类别；选择在训练数据中更常见的那个类别；或者改用软投票，根据各个分类器给出的概率来决定。为了减少平票的发生，在二分类问题中，人们通常会使用奇数个分类器。

它属于硬投票

相对多数投票法属于“硬投票”：每个分类器只给出一个最终的类别，而不提供它对这个判断有多大的把握。与之相对的“软投票”会把各个分类器给出的概率加以平均，再选择平均概率最高的类别，它利用了更多的信息，当各个分类器的概率比较可靠时，效果通常更好。但硬投票也有它的好处：不需要分类器输出概率，任何能给出类别的分类器都可以参与；而且不受各个分类器的概率是否校准良好的影响。随机森林在进行分类时，经典的做法就是让每棵树投出一票，再采用相对多数投票的方式决定最终的类别，不过在 scikit-learn 等工具中，实际实现的是对各棵树的概率求平均。

投票为什么有效

多数投票之所以能够提高准确率，可以用 18 世纪法国数学家孔多塞提出的“陪审团定理”来理解：如果每个投票者判断正确的概率都大于一半，并且他们的判断是相互独立的，那么随着投票者数量的增加，多数投票得到正确结论的概率会越来越接近 1。对于集成学习，这意味着只要各个分类器都比随机猜测好一些，并且它们犯的错误不完全相同，组合起来就能比单个分类器更准确。这也说明了集成学习中个体学习器需要“好而不同”的原因：如果所有分类器犯的都是同样的错误，投票也无法纠正。