属性条件独立性假设是什么？朴素贝叶斯“朴素”在哪里

属性条件独立性假设（Attribute Conditional Independence Assumption）是朴素贝叶斯分类器所依赖的核心假设：它假设在已知样本所属类别的条件下，样本的各个属性之间是相互独立的，每个属性独立地对分类结果产生影响。朴素贝叶斯中的“朴素”二字，指的就是这个简单甚至有些天真的假设。

为什么需要这个假设

贝叶斯分类器的思路是：根据贝叶斯定理，计算一个样本在给定其属性的情况下属于各个类别的概率，然后选择概率最大的那个类别。计算的关键在于求出“在某个类别下，出现这样一组属性值的概率”，也就是类条件概率。问题在于，这是所有属性的联合概率。如果有很多个属性，每个属性又有很多种取值，所有可能的组合数量会大得惊人。比如一封邮件用一万个词是否出现来描述，可能的组合就有 2 的一万次方种，根本不可能从有限的训练数据中可靠地估计出每一种组合的概率，大多数组合在训练数据中一次都不会出现。

属性条件独立性假设巧妙地解决了这个问题：如果各个属性在给定类别时相互独立，那么联合概率就可以拆成各个属性单独的条件概率的乘积。这样，只需要对每个属性分别估计它在各个类别下的概率，每一个都很容易从训练数据中统计出来，计算量和所需的数据量都大大减少了。

一个例子

以垃圾邮件过滤为例：判断一封邮件是不是垃圾邮件，要看其中出现了哪些词。在属性条件独立性假设下，我们认为，对于垃圾邮件来说，“免费”这个词出现与否，和“中奖”这个词出现与否是相互独立的。于是只需要分别统计：在垃圾邮件中“免费”出现的概率是多少、“中奖”出现的概率是多少，在正常邮件中又各是多少，然后把这封邮件中各个词对应的概率乘起来，再比较这封邮件属于两个类别的可能性哪个更大。

这个假设现实吗

在现实中，这个假设往往并不成立。在垃圾邮件中，“免费”和“中奖”很可能经常一起出现，它们是相关的；在描述一个人的属性中，身高和体重也明显相关。那么，基于一个明显不对的假设，朴素贝叶斯为什么还能用？

研究者发现，朴素贝叶斯在很多实际任务中，尤其是文本分类，表现得相当不错。一个重要的原因是：分类只需要判断哪个类别的概率最大，而不需要准确地算出每个概率的具体数值。即使由于独立性假设，计算出的概率数值偏差很大，只要各个类别之间的大小顺序没有颠倒，分类的结果仍然是正确的。此外，属性之间的依赖关系有时会在不同的类别中相互抵消。

朴素贝叶斯的优缺点和改进

基于这一假设的朴素贝叶斯分类器简单、训练和预测速度极快、需要的训练数据少，能够处理很多个属性，在垃圾邮件过滤、文本分类、情感分析等领域曾被广泛使用，至今仍常被当作文本分类的基线方法。它的缺点是当属性之间的相关性很强时，效果会受到影响，给出的概率值也往往不够准确。为了放宽这个过于严格的假设，研究者提出了“半朴素贝叶斯”分类器，比如 TAN、AODE 等方法，允许每个属性依赖于另外少数几个属性；更一般的方法是贝叶斯网络，它用一张图来明确地表示属性之间的依赖关系。