SparseMM 是什么？按视觉头的重要性分配多模态模型的缓存

SparseMM 是一种优化多模态大模型 KV 缓存的方法，由清华大学智能视觉实验室和腾讯混元团队在 2025 年 6 月提出，论文标题是《SparseMM：多模态大模型中的注意力头稀疏性源于对视觉概念的响应》。

背景：图片太占缓存

多模态大模型处理图片时，一张高分辨率图片往往会被转换成成百上千个视觉 token，视频更是多得多。模型在生成回答的过程中，要把这些 token 的键和值保存在 KV 缓存里，图片越多、越大，缓存占用的显存就越多，推理也越慢。压缩 KV 缓存是加速推理的常用手段，但以往的方法往往对所有注意力头一视同仁，统一地丢掉一部分缓存，这可能会误删对理解图像至关重要的信息。

关键发现：只有少数头在“看图”

研究者发现了一个有意思的现象：在多模态大模型中，真正负责处理视觉信息的注意力头只是少数，论文称之为视觉头。大多数注意力头主要在处理语言，对视觉内容的关注很少。这种稀疏性是模型在学习对视觉概念做出响应的过程中自然形成的。研究者设计了一种方法来给每个注意力头打一个“视觉得分”，衡量它对视觉内容的关注程度，并发现这些视觉头在不同的任务中是相对稳定的。

SparseMM 的做法

基于这个发现，SparseMM 根据各个注意力头的视觉得分，为它们分配不对称的计算预算：视觉得分高的头，保留更多的 KV 缓存，确保图像信息不丢失；视觉得分低的头，大幅压缩它们的缓存。这样就把有限的缓存用在了刀刃上。与以往的方法相比，SparseMM 在解码过程中优先强调并保留了视觉语义。

效果

论文在主流的多模态基准上做了大量评估，结果显示 SparseMM 在压缩缓存的情况下，比已有的压缩方法更好地保持了模型的准确率，同时显著加快了推理速度、降低了显存占用。这让多模态大模型在处理高分辨率图片和长视频时更加高效。