朴素贝叶斯是什么？“朴素”的独立性假设和贝叶斯定理

朴素贝叶斯（Naive Bayes）是一类以贝叶斯定理为基础、并假设特征之间条件独立的概率方法，最常见的用途是分类，也就是朴素贝叶斯分类器。这个名字由两部分组成：“贝叶斯”指它所依据的贝叶斯定理，“朴素”指它所做的那个简单甚至有些天真的独立性假设。

贝叶斯定理

贝叶斯定理以 18 世纪英国牧师、数学家托马斯·贝叶斯的名字命名，他的相关论文在他去世后的 1763 年由朋友理查德·普莱斯整理发表，后来法国数学家拉普拉斯独立地发展并推广了这一思想。贝叶斯定理描述了在获得新的证据之后，如何更新对一件事情的判断：一件事的后验概率，等于它的先验概率乘以在这件事成立时观察到这个证据的可能性，再除以观察到这个证据的总概率。

举一个常见的例子：某种疾病在人群中的患病率是千分之一，有一种检测方法，如果一个人患病，检测结果为阳性的概率是 99%；如果一个人没有患病，检测结果也有 5% 的概率误报为阳性。那么，一个人检测结果为阳性，他真正患病的概率有多大？很多人的直觉是 99% 左右，但根据贝叶斯定理计算，答案只有大约 2%。原因是这种病非常罕见，健康的人远远多于病人，健康人中的误报数量远远超过了病人中的真阳性数量。这个例子说明，在判断时必须考虑先验概率，也就是事情本来发生的可能性。

“朴素”的假设

用贝叶斯定理进行分类时，需要计算在某个类别下出现一整组特征的概率。当特征很多时，这个联合概率极难准确估计，因为特征的组合方式多到无法统计。朴素贝叶斯假设：在给定类别的条件下，各个特征之间是相互独立的。这样，整组特征的联合概率就可以直接写成每个特征单独的条件概率的乘积，每一项都很容易从数据中统计出来，问题一下子变得简单了。

这个假设在现实中往往并不成立：比如在一封邮件中，“免费”和“领取”这两个词往往一起出现，并不独立。但是实践表明，即使假设不成立，朴素贝叶斯仍然常常能取得不错的分类效果，因为分类只需要比较各个类别的概率谁大谁小，而不需要算出准确的概率数值。

生成式模型

从模型的类型来看，朴素贝叶斯属于生成式模型：它学习的是每个类别下数据是如何分布的，再通过贝叶斯定理反推出类别。与之相对的判别式模型，比如逻辑回归，直接学习从特征到类别的映射。研究发现，在训练数据较少时，朴素贝叶斯往往比逻辑回归更快地达到较好的效果；而当数据充足时，逻辑回归通常更准确。吴恩达和 Michael Jordan 在 2001 年的论文中对此进行了深入的比较。

历史和应用

朴素贝叶斯的方法在 20 世纪 60 年代被引入信息检索和文本分类领域，后来在垃圾邮件过滤中获得了广泛的应用，至今仍是文本分类、情感分析等任务中常用的基线方法。它简单、快速、易于实现和解释，是学习机器学习和概率方法的经典入门内容。