M+ 记忆增强模型是什么？让大模型记住十几万字之前的内容
TL;DRM+ 是加州大学圣地亚哥分校等团队在 2025 年 5 月提出的记忆增强语言模型，在 MemoryLLM 的基础上加入可扩展的长期记忆和协同训练的检索器，生成时动态检索相关信息，把知识保留能力从不到 2 万 token 扩展到 16 万 token 以上。
M+ 是一种具有可扩展长期记忆的语言模型，由加州大学圣地亚哥分校联合多个研究团队在 2025 年 5 月提出，论文标题是《M+：用可扩展的长期记忆扩展 MemoryLLM》。
背景：MemoryLLM
让大模型记住更多内容，常见的做法是扩大上下文窗口，但上下文越长，计算和显存开销越大。另一条路线是在模型内部加入记忆模块。MemoryLLM 就是这样一种模型：它在模型的隐藏层里维护一个固定大小的记忆池，不断把新读到的信息压缩写进去，同时逐渐淘汰旧的信息。它的问题是记忆池的容量有限，太久以前的信息会被覆盖掉。研究发现，它能可靠保留的信息大约只有不到 2 万 token 的范围，再往前的内容就记不住了。
M+ 的改进
M+ 在 MemoryLLM 的基础上整合了一个长期记忆机制。从短期记忆中被淘汰出去的信息，不再直接丢弃，而是转移到一个容量更大的长期记忆中保存。同时，M+ 配备了一个与模型协同训练的检索器：在生成文本的过程中，检索器会根据当前的需要，从长期记忆里动态找出相关的信息，再交给模型使用。因为检索器和模型是一起训练的，它学会了检索出真正对模型有用的内容。
这种设计有点像人的记忆：工作记忆容量有限，只保存眼前的事；更久远的经历存在长期记忆里，需要时再被回想起来。
效果
研究团队在多种测试长文本理解和知识保留的基准上评估了 M+。结果表明，M+ 的表现显著优于 MemoryLLM 和近期的其他强基线模型；在 GPU 显存开销与 MemoryLLM 相近的情况下，把知识保留能力从不到 2 万 token 扩展到了 16 万 token 以上。这为让大模型在长时间对话、长文档处理中记住更早的信息，提供了一种不依赖超长上下文窗口的高效方案。