xLSTM 是什么？LSTM 之父把经典循环网络扩展到大模型规模

xLSTM（Extended Long Short-Term Memory，扩展长短期记忆）是对经典循环神经网络 LSTM 的重大升级。2024 年 5 月，LSTM 的提出者和奠基人 Sepp Hochreiter 带领团队在 arXiv 上发布了预印本论文《xLSTM：扩展的长短期记忆》，后来发表于 NeurIPS 2024。论文提出了一个问题：借助大语言模型的最新技术，把 LSTM 扩展到数十亿个参数时，它在语言建模上能走多远？

背景

LSTM 是 Hochreiter 和 Schmidhuber 在 1997 年提出的，它通过门控机制解决了传统循环神经网络难以记住长期信息的问题，在 2010 年代成为语音识别、机器翻译等任务的主力模型。2017 年 Transformer 出现后，凭借可以并行训练、更擅长捕捉长距离依赖的优势，逐渐取代了 LSTM，成为大语言模型的标准架构。但 Transformer 也有它的问题：注意力的计算量随文本长度平方增长，处理长文本时成本很高。Hochreiter 团队希望找到 LSTM 的局限所在，加以改进，让它重新具备竞争力。

xLSTM 做了哪些改进

论文指出了传统 LSTM 的三个主要局限：难以修改已经存储的信息，比如发现了更相关的新信息时，不能很好地更新记忆；记忆容量有限，所有信息都要压缩进一个标量形式的记忆单元中；以及由于每一步都依赖上一步的计算，无法并行训练。针对这些问题，xLSTM 引入了两项主要的改进。

指数门控：把门控函数从传统的 sigmoid 改为指数函数，并配合归一化和稳定化的技巧，让模型能更灵活地修改和覆盖之前存储的信息。

新的记忆结构：提出了两种新的 LSTM 单元。sLSTM 使用标量记忆，并引入了新的记忆混合方式；mLSTM 把记忆从一个标量扩展成了一个矩阵，大大增加了存储容量，并采用类似注意力中“键”和“值”的协方差更新规则，而且 mLSTM 去掉了循环的依赖，可以完全并行地训练。把这两种单元组合成残差模块，堆叠起来就构成了 xLSTM 架构。

效果和意义

论文报告，在相同的训练数据和参数规模下，xLSTM 在语言建模上的表现可以和当时的 Transformer、以及 Mamba 等状态空间模型相媲美甚至更好，而且推理时的计算量和内存需求随文本长度线性增长，处理长序列更高效。此后，Hochreiter 参与创立的公司 NXAI 还发布了 70 亿参数的 xLSTM 模型。xLSTM 是近年来“循环架构复兴”浪潮中的代表之一，体现了研究者寻找比 Transformer 更高效的架构的努力。