边缘分布是什么？从多个变量的联合分布中只看其中一个

边缘分布（Marginal Distribution）是指在涉及多个随机变量的情况下，只关注其中某一个或某几个变量、而不考虑其他变量时，这些变量自身的概率分布。它是从多个变量的联合分布中，通过对其他变量“求和”或“积分”而得到的。

名字的由来

边缘分布这个名字来源于一种常见的表格。假设调查了一所学校的学生，记录他们的性别和是否戴眼镜，可以把结果整理成一张二维的表格：行表示性别，列表示是否戴眼镜，表格中的每个格子记录同时满足这两个条件的学生所占的比例，这张表描述的就是性别和戴眼镜这两个变量的联合分布。如果在表格的右侧边缘，把每一行加起来，就得到男生和女生各占多大的比例，这就是性别的分布；在表格的底部边缘，把每一列加起来，就得到戴眼镜和不戴眼镜的学生各占多大的比例，这就是是否戴眼镜的分布。因为这些合计的数字写在表格的“边缘”，所以叫作边缘分布。

如何计算

对于离散的变量，要求某个变量的边缘分布，就把联合分布中其他变量的所有可能取值对应的概率加起来。比如要知道“戴眼镜”的概率，就把“男生且戴眼镜”和“女生且戴眼镜”这两个概率加起来。对于连续的变量，则是对其他变量进行积分。这个过程叫作边缘化，也就是把那些我们不关心的变量“消掉”。

边缘分布与联合分布、条件分布

联合分布描述的是多个变量同时取各种值的概率，包含了变量之间关系的全部信息。边缘分布只描述单个变量自身的情况，丢失了变量之间关系的信息。条件分布描述的是在已知一个变量取某个值的情况下，另一个变量的分布，比如“在男生中，戴眼镜的比例是多少”。三者之间的关系是：联合概率等于条件概率乘以边缘概率。需要注意的是，仅凭两个变量各自的边缘分布，一般无法还原出它们的联合分布，因为不知道它们之间是如何相关的；只有当两个变量相互独立时，联合分布才等于两个边缘分布的乘积。

在机器学习中的作用

贝叶斯推断：根据贝叶斯定理，后验分布等于先验乘以似然，再除以数据的边缘概率，也叫证据或边缘似然。计算这个边缘概率需要对所有可能的参数取值进行积分，往往非常困难，这正是贝叶斯推断中最主要的计算难点，也是变分推断、马尔可夫链蒙特卡罗等近似方法要解决的问题。边缘似然还被用于比较不同模型的好坏，这叫贝叶斯模型选择。概率图模型：在贝叶斯网络等模型中，常常需要计算某一个变量的边缘分布，比如在已知病人症状的情况下，计算他患某种疾病的概率，这需要对模型中所有其他的变量进行边缘化，变量消元、置信传播等算法就是用来高效地完成这一计算的。含隐变量的模型：在高斯混合模型、变分自编码器等含有隐变量的模型中，我们观测到的数据的概率，是对隐变量进行边缘化之后得到的。生成模型的目标常常就是让模型给出的观测数据的边缘分布尽量接近真实数据的分布。此外，在数据分析中，查看每个特征单独的分布，也就是看它的边缘分布，通常是了解数据的第一步。