近似推断是什么？算不出精确答案时求一个足够好的概率估计

近似推断（Approximate Inference）是指在概率模型中，当精确地计算我们关心的概率分布过于困难甚至不可能时，用近似的方法来求解的技术。它是贝叶斯统计和概率机器学习中最核心的问题之一。

什么是推断

在概率模型中，“推断”指的是根据观测到的数据，计算我们关心但看不到的量的概率分布。比如：根据病人的症状，推断他患各种疾病的概率；根据一篇文章中的词语，推断它讨论的主题是什么；根据观测数据，推断模型参数可能的取值，也就是参数的后验分布。按照贝叶斯定理，后验分布等于先验分布乘以似然，再除以一个归一化的常数，叫作证据或边缘似然。问题往往就出在这个归一化常数上：它需要对所有可能的隐变量或参数取值进行求和或积分，当变量很多、模型很复杂时，可能的组合数量会呈指数级增长，或者积分根本无法用公式求出。这时，精确推断在计算上是不可行的，只能求助于近似的方法。

基于采样的方法

这类方法的思路是：既然无法精确地写出这个分布，就想办法从这个分布中抽取大量的样本，用这些样本来代表它。比如要计算某个量的平均值，就用样本的平均值来近似。马尔可夫链蒙特卡罗（MCMC）是最重要的采样方法：它构造一个随机游走的过程，让它在长时间运行之后，访问各个状态的频率正好符合目标分布。常用的算法有 Metropolis-Hastings 算法、吉布斯采样，以及利用梯度信息、效率更高的哈密顿蒙特卡罗。采样方法的优点是，理论上只要样本足够多，结果可以任意地精确；缺点是可能需要很长的时间才能收敛，而且难以判断是否已经收敛，计算代价较高。

基于优化的方法：变分推断

变分推断换了一个思路：不去采样，而是选择一族简单的、容易处理的概率分布，比如正态分布，然后在这一族分布中，找出与真实的后验分布最接近的那一个，接近程度通常用 KL 散度来衡量。这样，一个推断问题就转化成了一个优化问题，可以利用梯度下降等高效的优化工具来求解。在实际中，通过最大化一个叫作证据下界（ELBO）的量来实现。变分推断的优点是速度快，可以处理大规模的数据和模型；缺点是结果的精确程度受限于所选择的那一族简单分布，通常会低估真实分布的不确定性。

其他方法

拉普拉斯近似：在后验分布的最高点附近，用一个正态分布来近似它，简单快速，但只在后验分布接近正态分布时才比较准确。期望传播：由 Thomas Minka 在 2001 年提出，通过局部的近似逐步逼近整体的分布。循环置信传播：在含有环的概率图模型中近似地进行消息传递，在纠错编码等领域效果很好。

在现代机器学习中的应用

近似推断是许多现代模型的基础：变分自编码器（VAE）的训练目标就是证据下界，它用一个神经网络来学习近似的后验分布，这种做法叫“摊销推断”；主题模型 LDA 常用变分推断或吉布斯采样来训练；贝叶斯神经网络用近似推断来估计模型预测的不确定性；扩散模型的训练目标也可以从变分推断的角度来理解。此外，概率编程语言，比如 Stan、PyMC，让研究者只需描述模型，就能自动地完成近似推断。