马尔可夫链是什么？下一步只取决于现在的随机过程

马尔可夫链（Markov Chain）是一种描述系统在一系列状态之间随机转移的数学模型，以俄国数学家安德烈·马尔可夫的名字命名，他在 1906 年前后开始研究这类过程。它的核心特点是“无记忆性”：系统下一步会转移到哪个状态，只取决于它现在所处的状态，而与它过去是怎样到达现在这个状态的无关。这被称为马尔可夫性质。

一个简单的例子

假设用一个简化的模型来描述天气，只有晴天和雨天两种状态，并且根据经验：如果今天是晴天，明天有 80% 的可能是晴天，20% 的可能下雨；如果今天下雨，明天有 40% 的可能转晴，60% 的可能继续下雨。在这个模型中，要预测明天的天气，只需要知道今天的天气，而不需要知道前天、大前天的天气。这就是一个马尔可夫链。

这些从一个状态转移到另一个状态的概率，叫作转移概率。把所有状态之间的转移概率排成一个表格，就得到了转移矩阵，它完整地描述了这个马尔可夫链的规律。利用转移矩阵，可以计算出几天之后天气的概率。

稳态分布

马尔可夫链有一个很有趣的性质：在满足一定条件的情况下，无论从哪个状态出发，经过足够多的步骤之后，系统处于各个状态的概率会趋于稳定，不再变化，这叫稳态分布或平稳分布。在上面的天气例子中，长期来看，晴天和雨天出现的比例会稳定在某个固定的值，与第一天是晴是雨无关。

应用

网页排名：谷歌早期的 PageRank 算法就基于马尔可夫链。它设想一个用户在网上随机浏览，不断地点击网页上的链接从一个页面跳到另一个页面。每个网页是一个状态，链接决定了转移概率。长期来看，用户停留在各个网页上的概率，也就是稳态分布，就反映了网页的重要程度。

文本生成：早期的文本生成模型会根据前一个词来预测下一个词的概率，这就是一种马尔可夫链。马尔可夫本人最早的研究之一，就是分析普希金的长诗《叶甫盖尼·奥涅金》中元音和辅音交替出现的规律。现代的大语言模型会参考前面的全部内容，比简单的马尔可夫链复杂得多。

马尔可夫链蒙特卡罗方法（MCMC）：在统计学和机器学习中，很多复杂的概率分布无法直接计算和采样。MCMC 方法巧妙地构造一个马尔可夫链，让它的稳态分布正好等于目标分布，只要让这个马尔可夫链运行足够长的时间，就能得到符合目标分布的样本，这是贝叶斯统计中的核心工具。

此外，马尔可夫链还被用于排队系统、金融建模、生物信息学中的基因序列分析，以及语音识别中常用的隐马尔可夫模型。在马尔可夫链的基础上加入动作和奖励，就得到了强化学习的基础：马尔可夫决策过程。