概率图模型是什么？用图来表示随机变量之间的依赖关系

概率图模型（Probabilistic Graphical Model，PGM）是一类用图来表示多个随机变量之间概率依赖关系的模型。在这种图中，每个节点代表一个随机变量，节点之间的边代表变量之间的依赖关系。它把概率论和图论结合在一起，为描述和处理复杂的不确定性问题提供了一个直观而强大的框架。Daphne Koller 和 Nir Friedman 的《概率图模型》是这一领域的经典教材。

为什么需要概率图模型

现实世界中的很多问题都涉及大量相互关联、带有不确定性的变量。比如在医疗诊断中，有各种疾病、症状、检查结果、生活习惯等变量。要完整地描述它们之间的概率关系，就需要给出所有变量的联合概率分布。如果有 100 个只取“是”或“否”两种值的变量，可能的组合就有 2 的 100 次方种，这是一个天文数字，根本无法直接存储和计算。但实际上，大多数变量之间并没有直接的关系：比如在已知“是否患流感”的情况下，“发烧”和“咳嗽”这两个症状可能就相互独立了。概率图模型正是利用了这种条件独立性，用图把变量之间的直接依赖关系表示出来，把一个巨大的联合分布分解成许多个小的局部部分的乘积，大大降低了表示和计算的复杂度。

两大类概率图模型

贝叶斯网络，也叫有向图模型：图中的边是有方向的箭头，通常表示因果或影响关系，比如“吸烟”指向“肺癌”，“肺癌”指向“咳嗽”。每个节点都附带一个条件概率表，描述在它的父节点取各种值时，它自己取各种值的概率。整个网络的联合分布，等于所有节点在给定父节点时的条件概率的乘积。图灵奖得主朱迪亚·珀尔在 20 世纪 80 年代对贝叶斯网络的发展做出了奠基性的贡献，并在此基础上进一步发展了因果推断的理论。

马尔可夫随机场，也叫无向图模型：图中的边没有方向，表示变量之间相互的关联，而不是单向的影响。它适合描述那些没有明确因果方向的关系，比如图像中相邻像素之间的关联：相邻的像素往往颜色相近。它的联合分布由定义在图中各个“团”上的势函数的乘积来表示。

代表性的模型

朴素贝叶斯分类器可以看作最简单的贝叶斯网络。隐马尔可夫模型：一种用于序列数据的有向图模型，用隐藏的状态序列来解释观察到的序列，曾是语音识别的主流技术，也被用于词性标注和生物序列分析。条件随机场：由 John Lafferty 等人在 2001 年提出的一种无向图模型，直接对给定输入时输出序列的条件概率进行建模，在命名实体识别、分词等序列标注任务中被广泛使用。主题模型 LDA、高斯混合模型等也都属于概率图模型。

推断和学习

概率图模型中有两个核心的问题：推断，就是在已知某些变量取值的情况下，计算其他变量的概率，比如已知病人的症状，推断他患各种疾病的概率，常用的方法有变量消元、置信传播，以及采样和变分推断等近似推断方法；学习，就是从数据中学习模型的参数，有时还包括学习图的结构本身。

今天的地位

深度学习兴起之后，在很多感知类的任务上，神经网络取代了概率图模型。但概率图模型在需要明确表示不确定性、需要可解释性、需要融入领域知识和因果关系的场景中仍然很有价值。它的很多思想也融入了深度学习之中，比如变分自编码器就可以看作一种用神经网络参数化的概率图模型，在神经网络后面接一个条件随机场层，也曾是序列标注的常用做法。