配对 t 检验是什么？比较同一批对象前后两次测量的差异

配对 t 检验（Paired t-test）是一种统计假设检验方法，用来判断两组成对出现的数据之间的平均差异是否显著，也就是说，这种差异是真实存在的，还是仅仅由于随机波动造成的。它是 t 检验的一种，t 检验由英国统计学家威廉·戈塞特在 1908 年以“学生”为笔名发表，所以也叫学生 t 检验。

什么是“配对”数据

配对数据是指两组数据中的每一个值，都能与另一组中的某个值一一对应地配成对。最常见的情况是对同一批对象在两种不同的条件下进行测量：比如同一批病人在服用某种药物之前和之后的血压；同一批学生在参加培训之前和之后的考试成绩；同一批用户使用新旧两个版本的软件所花的时间。也可以是经过匹配的两个对象：比如双胞胎中的一个接受某种处理，另一个不接受；或者在研究中把年龄、性别等条件相似的人两两配对。

为什么要用配对检验

配对检验的好处在于它能排除个体之间差异的干扰。以降压药为例：不同病人的血压本身就相差很大，有的人基础血压很高，有的人比较低。如果把服药前和服药后的血压当作两组独立的数据来比较，这种个体之间的巨大差异会掩盖掉药物的效果。而配对检验关注的是每一个病人自己在服药前后的变化，每个人都和自己进行比较，个体之间的差异就被消除了，因此能够更灵敏地检测出药物的真实效果。

检验是怎么进行的

配对 t 检验的做法其实很简单：先计算每一对数据的差值，比如每个病人服药前的血压减去服药后的血压；然后检验这些差值的平均值是否显著地不等于零。具体步骤是：提出原假设，即两种条件下没有差别，差值的总体平均值为零；计算差值的平均值和标准差；计算 t 统计量，它等于差值的平均值除以差值的标准误，标准误等于标准差除以样本数量的平方根；然后根据 t 分布和自由度，也就是样本对数减一，求出 p 值。如果 p 值小于事先设定的显著性水平，比如 0.05，就拒绝原假设，认为两种条件之间存在显著的差异。

配对 t 检验要求差值大致服从正态分布。当样本较少且差值明显偏离正态分布时，可以使用不依赖于正态分布假设的非参数方法，比如威尔科克森符号秩检验。

在机器学习中的应用

在比较两个机器学习模型时，配对 t 检验很常用。比如用十折交叉验证，在同样的十种数据划分上分别训练和测试模型甲和模型乙，就得到了十对准确率。由于两个模型在同一种划分上面对的是同样的数据，这些结果是天然配对的。用配对 t 检验就可以判断两个模型之间的差距是否显著，还是只是偶然的波动。需要注意的是，交叉验证中不同折的训练集是相互重叠的，结果之间并不完全独立，可能导致检验过于乐观，研究者为此提出了 5×2 交叉验证配对 t 检验等修正的方法。