自回归模型是什么？根据前面的内容一个一个地预测下一个

自回归模型（Autoregressive Model）是一类用序列自身前面的值来预测后面的值的模型。“自回归”的意思就是“用自己过去的值来回归自己”。它最早出现在统计学的时间序列分析中，如今是大语言模型等生成式 AI 的核心原理之一。

统计学中的自回归模型

在时间序列分析中，自回归模型简称 AR 模型，它假设当前时刻的值，可以用前面若干个时刻的值的线性组合，加上一个随机误差来表示。比如预测今天的气温，可以参考昨天、前天、大前天的气温。用前面 p 个时刻的值来预测，就叫 p 阶自回归模型，记作 AR(p)。在此基础上，还有结合了移动平均的 ARMA 模型，以及能处理有趋势数据的 ARIMA 模型，它们被广泛用于经济、金融、气象等领域的预测。

生成式 AI 中的自回归模型

在深度学习中，自回归的思想被用来生成各种序列数据。它的核心是把一个复杂的整体，拆解成一连串“根据前面已有的内容，预测下一个”的步骤。

GPT 系列等大语言模型就是典型的自回归模型。它们生成文字的方式是：根据已有的文字，预测下一个最可能出现的词或 token；把预测出的 token 接到后面，再根据更新后的全部内容预测下一个；如此一个接一个地生成，直到生成完整的回答。在训练时，模型的任务就是在海量的文本上反复练习“预测下一个 token”。这个看似简单的任务，迫使模型学会语法、知识、逻辑甚至推理。为了保证预测某个位置时只能看到它前面的内容，Transformer 中的解码器使用了“因果掩码”，把后面的内容遮住。

自回归的方法也被用于其他类型的数据：在图像生成中，可以把图像分成许多小块，转换成一串离散的视觉 token，再像生成文字一样一个个地生成，比如早期的 PixelCNN、DALL-E 的第一代；在语音生成中，DeepMind 在 2016 年提出的 WaveNet 逐个采样点地生成声音波形；很多语音合成和音乐生成模型，以及一些视频生成模型，也采用自回归的方式。

优点和局限

自回归模型的优点是原理简单统一，训练目标明确，非常适合语言这种天然有先后顺序的数据，而且可以生成任意长度的内容。它的局限包括：生成速度受限，因为必须一个接一个地按顺序生成，无法一次并行地生成全部内容，为此研究者提出了 KV 缓存、推测解码等加速方法；早期生成的错误会影响后续的内容，错误可能累积；而且只能从前往后生成，不便于进行全局的规划和修改。与自回归模型相对的是扩散模型等非自回归的方法，它们可以并行地生成和修改整体，近年来也有研究尝试用扩散的方式来生成文字。