假设检验是什么？用数据判断一个说法是否站得住脚

假设检验（Hypothesis Testing）是统计学中根据样本数据，判断关于总体的某个说法是否成立的方法。它是科学研究、医学试验、产品决策中最常用的统计工具之一，帮助人们判断观察到的差异是真实存在的，还是只是由随机波动造成的。

基本思路：反证法

假设检验的思路类似于数学中的反证法，也有点像法庭审判中的“无罪推定”。首先，提出一个原假设，通常是“没有差别”“没有效果”的说法，比如“新药与安慰剂的效果相同”“新版网页与旧版网页的转化率相同”。与之相对的是备择假设，也就是我们实际想要证明的说法，比如“新药更有效”。然后，假设原假设是成立的，计算在这种情况下，观察到当前这样的数据，或者比当前更极端的数据的概率有多大。如果这个概率非常小，就说明在原假设成立的前提下，很难出现这样的数据，于是我们有理由怀疑原假设，选择拒绝它，接受备择假设。如果这个概率不算小，就没有足够的证据拒绝原假设。

需要注意的是，“没有拒绝原假设”并不等于“证明了原假设是对的”，只是说现有的证据还不足以推翻它，就像法庭判决“证据不足”并不等于证明了被告无辜。

p 值和显著性水平

上面说的那个概率就叫 p 值。在进行检验之前，需要事先设定一个标准，叫作显著性水平，常用的是 0.05。如果 p 值小于 0.05，就称结果“具有统计显著性”，拒绝原假设。0.05 这个标准最早由统计学家费希尔推广，但它本身只是一个惯例，并没有特别的科学依据。

两类错误

假设检验的结论可能出错，有两种情况。第一类错误：原假设实际上是对的，却被错误地拒绝了，也就是“误报”，比如药物实际上没有效果，却被判定为有效。犯这类错误的概率就等于显著性水平。第二类错误：原假设实际上是错的，却没有被拒绝，也就是“漏报”，比如药物确实有效，却没能检验出来。不犯第二类错误的概率叫作检验的功效。在样本数量固定时，降低一类错误往往会增加另一类错误；增加样本数量则可以同时降低两类错误。

常用的检验方法

t 检验：比较两组数据的平均值是否有显著差异，包括独立样本 t 检验和配对 t 检验。卡方检验：检验两个类别变量之间是否存在关联，或者观察到的频数是否符合预期。方差分析：比较三组或更多组数据的平均值。当数据不满足正态分布等假设时，还可以使用曼-惠特尼 U 检验、威尔科克森检验等非参数检验方法。

应用和常见的误用

假设检验被广泛用于临床试验、心理学和社会科学研究、工业质量控制，以及互联网公司的 A/B 测试。在机器学习中，它也被用来判断两个模型之间的性能差异是否显著。近年来，p 值的误用引起了广泛的关注：比如把 p 值小于 0.05 当作“证明了结论”，把 p 值误解为“原假设成立的概率”，反复尝试不同的分析方法直到得到显著的结果，这些做法都会导致不可靠的结论。美国统计学会在 2016 年专门发表了关于正确使用 p 值的声明，建议同时报告效应的大小和置信区间，而不能只看 p 值。