重赋权法是什么？给样本分配不同权重来调整学习的侧重点

重赋权法（Re-weighting）是指在训练机器学习模型时，为每一个训练样本赋予一个权重，让学习算法根据权重的大小，对不同的样本给予不同程度的重视。权重越大的样本，在损失函数中占的分量越大，模型越会努力把它学好。

在提升法中的作用

重赋权法最典型的应用是集成学习中的提升法，比如 AdaBoost。提升法会依次训练一系列的基学习器，每一个新的学习器都要重点关注前面的学习器犯错的样本。实现这一点的方式就是重赋权：一开始，所有的训练样本权重相同；训练完第一个学习器之后，提高那些被它分错的样本的权重，降低被分对的样本的权重；然后在调整过权重的数据上训练第二个学习器，它就会更加关注那些难以分对的样本；如此反复。这样，后面的学习器就会专门去弥补前面学习器的不足。最后，所有学习器的预测按照各自的表现加权组合起来。

重赋权与重采样

要让学习算法关注某些样本，除了直接赋予权重，还可以使用重采样法：根据样本的权重进行抽样，权重大的样本被抽中的概率更高、出现的次数更多，然后在抽样得到的新数据集上进行训练。两种方法在效果上类似，但适用的情况不同：重赋权法要求学习算法本身能够接受样本的权重，比如在计算损失时把每个样本的损失乘以它的权重，很多算法，比如决策树、逻辑回归、神经网络，都可以很方便地做到这一点；而对于那些无法直接接受权重的学习算法，就只能使用重采样法。周志华在《机器学习》中还指出，在提升法中，重采样法有时有一个额外的好处：如果某一轮训练出的学习器表现太差，比随机猜测还差，重赋权法可能不得不提前终止训练；而重采样法可以重新抽样再训练，从而让学习过程得以继续。

其他应用

处理类别不平衡：当某一类的样本远少于其他类时，可以给少数类的样本更大的权重，让模型不会忽视它们。常见的做法是让每个类别的权重与它的样本数量成反比。代价敏感学习：当不同的错误代价不同时，比如把病人误诊为健康的代价远大于把健康人误诊为病人，可以给代价高的那类样本更大的权重。协变量偏移：当训练数据和实际使用时遇到的数据分布不同时，比如训练数据中年轻用户偏多，而实际用户中老年用户更多，可以给训练集中那些在实际数据中更常见的样本更大的权重，让模型更符合实际的情况。这叫重要性加权，权重等于样本在目标分布中的概率与在训练分布中的概率之比。处理噪声标签：可以降低那些可能被标错的样本的权重，减少它们对模型的干扰。在深度学习中，研究者还提出了让模型自己学习样本权重的方法，比如根据样本在验证集上的作用来动态地调整权重。此外，在调查统计中，也常常对样本进行加权，让样本的结构与总体的结构相一致。