先验概率是什么？看到证据之前对事情的初始判断

先验概率（Prior Probability）是指在获得新的数据或证据之前，根据已有的知识和经验，对某件事情发生的可能性所做出的估计。“先验”的意思就是“在经验之前”，也就是在看到当前的证据之前。与之相对的是后验概率：在考虑了新的证据之后，更新得到的概率。先验概率和后验概率之间，通过贝叶斯定理联系在一起。

贝叶斯定理中的先验

贝叶斯定理描述了如何根据新的证据来更新我们的判断：后验概率正比于先验概率乘以似然。似然表示在某个假设成立的情况下，观察到当前证据的可能性有多大。也就是说，我们最终的判断，是由“看到证据之前的初始判断”和“证据对各个假设的支持程度”共同决定的。当新的证据不断地积累时，后验概率又可以作为下一轮判断的先验概率，如此不断地更新。

一个经典的例子：不要忽视先验

假设某种疾病在人群中的患病率是千分之一，这就是“患病”的先验概率。有一种检测方法，对于真正的患者，有 99% 的概率检测为阳性；对于健康的人，也有 5% 的概率被误检为阳性。一个人检测结果为阳性，他真正患病的概率有多大？很多人的第一反应是 99% 左右。但根据贝叶斯定理计算：在一万人中，大约有 10 个患者，其中约 10 人检测为阳性；有 9990 个健康的人，其中约 500 人被误检为阳性。所以，在所有约 510 个检测为阳性的人中，真正的患者只有约 10 人，真正患病的概率只有约 2%。之所以与直觉相差如此之大，就是因为这种疾病的先验概率非常低。人们在判断时常常忽视先验概率，只关注证据本身，这种认知偏差被心理学家丹尼尔·卡尼曼和阿莫斯·特沃斯基称为“基础比率谬误”。

在分类中的先验

在分类问题中，类先验概率指的是在看到样本的任何特征之前，每个类别本身出现的比例。比如在一封邮件到来之前，它是垃圾邮件的概率，可以根据历史上垃圾邮件所占的比例来估计。朴素贝叶斯等生成式分类器会明确地使用类先验概率：分类时比较“类先验概率乘以类条件概率”的大小。当训练数据中各个类别的比例与实际应用中的比例不同时，比如为了处理类别不平衡而对训练数据进行了重采样，模型隐含的先验就与真实的先验不一致了，这时需要对模型的输出进行相应的调整，阈值移动中的“再缩放”就体现了这一思想。

在参数估计中的先验

在贝叶斯统计中，先验不仅可以用于事件，也可以用于模型的参数：在看到数据之前，用一个概率分布来表达我们对参数可能取值的看法。看到数据之后，把先验与似然结合起来，得到参数的后验分布。先验可以是有信息的，融入了领域专家的知识或以往研究的结果；也可以是无信息的或弱信息的，尽量少地影响结论，让数据来“说话”。当数据很少时，先验对结论的影响很大；当数据很多时，数据的作用会逐渐超过先验，不同的先验得到的后验会趋于一致。在机器学习中，很多正则化方法都可以从先验的角度来理解：L2 正则化相当于假设参数服从以零为中心的正态分布的先验，L1 正则化相当于假设参数服从拉普拉斯分布的先验，加了正则化的训练就等价于寻找后验概率最大的参数，即最大后验估计。

关于先验的争论

先验概率的使用是统计学中频率学派与贝叶斯学派争论的焦点之一：频率学派认为先验带有主观的成分，可能影响结论的客观性；贝叶斯学派则认为，合理地使用先验能够融入已有的知识，在数据有限时尤其有价值，而且明确地写出先验，比把假设隐藏起来更加透明。