变分推断是什么？用一个简单分布去逼近复杂的后验

变分推断（Variational Inference，VI）是一种近似地计算复杂概率分布的方法，在贝叶斯统计和机器学习中被广泛使用。它的核心思想是：当一个概率分布，通常是后验分布，复杂到无法精确计算时，就在一族简单的、容易处理的分布中，找出与它最接近的那一个，用它来近似代替真实的分布。这样，一个困难的推断问题就被转化成了一个优化问题。

为什么需要变分推断

在贝叶斯方法中，我们常常需要计算后验分布：根据观测到的数据，更新我们对模型参数或隐变量的认识。根据贝叶斯定理，后验分布等于先验分布乘以似然，再除以一个归一化的常数，叫作证据或边缘似然。问题在于，计算这个归一化常数需要对所有可能的参数或隐变量取值进行积分或求和，对于复杂的模型，这在计算上是不可行的。一类近似的方法是马尔可夫链蒙特卡罗采样，它通过从后验分布中抽取大量的样本来近似它，结果可以很精确，但计算往往很慢，难以处理大规模的数据。变分推断则提供了另一条更快的路径。

它是怎么做的

第一步，选择一族简单的近似分布，比如正态分布，这族分布中的每一个分布由一些参数决定，比如均值和方差，这些参数叫作变分参数。第二步，衡量近似分布与真实后验分布之间的差距，通常使用 KL 散度。第三步，调整变分参数，让 KL 散度尽可能小，找到最接近真实后验的那个近似分布。

这里有一个问题：计算 KL 散度本身又需要用到真实的后验分布，而它正是我们算不出来的。巧妙的是，可以通过数学推导证明：数据的对数证据，等于 KL 散度加上一个叫作“证据下界”（ELBO）的量。由于对数证据对于给定的数据是一个固定的值，最小化 KL 散度就等价于最大化证据下界。而证据下界只涉及先验、似然和近似分布本身，是可以计算的。于是，变分推断就变成了最大化证据下界的优化问题。证据下界由两部分组成：一部分鼓励近似分布能很好地解释观测数据，另一部分鼓励近似分布不要偏离先验太远。

平均场近似

最常用的一种简化是平均场近似：假设近似分布中的各个变量相互独立，可以分解为每个变量各自分布的乘积。这样，可以通过坐标上升的方法，轮流更新每个变量的分布，每次更新时固定其他变量，往往能得到简单的更新公式。主题模型 LDA 最初就是用这种变分推断的方法来训练的。平均场近似的缺点是忽略了变量之间的相关性，并且倾向于低估后验分布的不确定性。

现代的发展

随机变分推断：由 Matthew Hoffman、David Blei 等人在 2013 年提出，每次只使用一小批数据来估计证据下界的梯度，用随机梯度的方法进行优化，使变分推断能够处理海量的数据。重参数化技巧和变分自编码器：2013 年，Diederik Kingma 和 Max Welling 提出了变分自编码器，用神经网络来输出近似后验分布的参数，并通过重参数化技巧，让梯度能够穿过随机采样的过程进行反向传播。这把变分推断与深度学习结合了起来，用一个网络来为所有的数据点进行推断，这叫“摊销推断”。此外，扩散模型的训练目标也可以从变分推断的角度推导出来；贝叶斯神经网络也常用变分推断来近似权重的后验分布，以估计模型预测的不确定性。