自助法是什么？从样本里反复有放回地抽样来估计误差

自助法（Bootstrapping）是一种基于重复抽样的统计方法，由美国斯坦福大学的统计学家布拉德利·埃弗隆在 1979 年提出。它的核心思想是：把手中已有的样本当作总体的一个缩影，通过从样本中反复地有放回抽样，模拟“重复进行实验”的过程，从而估计统计量的误差和不确定性。

名字的由来

Bootstrap 原意是靴子后跟上的拉环，英文中有一个说法叫“拉着自己的靴带把自己提起来”，比喻不借助外力、靠自己完成看似不可能的事。自助法也是这样：不需要额外收集新的数据，只靠手中这一份样本，就能估计出统计结果的可靠程度。

它是怎么做的

假设有一份包含 n 个观测值的样本，想知道它的中位数估计有多可靠。步骤如下：从原样本中有放回地随机抽取 n 次，得到一个与原样本同样大小的“自助样本”，其中有些观测值会出现多次，有些一次也不出现；在这个自助样本上计算中位数；重复上述过程成百上千次，比如一千次，得到一千个中位数；这一千个中位数的分布，就近似地反映了中位数估计的抽样分布。它们的标准差可以作为标准误差的估计，取第 2.5 和第 97.5 百分位数，就得到一个 95% 的置信区间，这叫百分位法。

为什么它有用

传统的统计推断方法，往往需要假设数据服从某种分布，比如正态分布，并且依赖数学推导出统计量的误差公式。但对于很多复杂的统计量，比如中位数、两个变量的比值、相关系数，或者一个复杂模型的预测准确率，很难推导出误差的公式，或者分布假设并不成立。自助法不需要这些推导和假设，只要能在一份数据上计算出统计量，就能用它来估计误差，非常通用。它的代价是需要大量的重复计算，而这在计算机普及之后已经不是问题。自助法被认为是 20 世纪后期统计学最重要的进展之一，埃弗隆也因此获得了 2018 年的国际统计学奖。

在机器学习中的应用

模型评估：用自助样本训练模型，用没有被抽中的样本测试，可以在数据较少时评估模型的效果。可以算出，当 n 很大时，每个样本在一次自助抽样中都没被抽中的概率约为 36.8%，所以每次大约有三分之一的数据可以用来测试。周志华《机器学习》把自助法与留出法、交叉验证并列为三种基本的评估方法，并指出它在数据集较小、难以有效划分训练集和测试集时很有用，但由于改变了数据的分布，可能引入估计偏差，数据充足时更常用留出法和交叉验证。集成学习：Bagging 和随机森林用自助采样为每个基学习器生成不同的训练集，从而产生多样性；没被抽中的样本还能用来进行包外估计。估计预测的不确定性：在多个自助样本上训练多个模型，观察它们对同一个输入的预测有多分散，从而得到预测的置信区间。比较模型：用自助法估计两个模型性能差异的置信区间，判断差异是否显著。