MaCP 是什么？用余弦变换让大模型微调更省参数

MaCP（Minimal yet Mighty adaptive Cosine Projection，简约而强大的自适应余弦投影）是一种用更少参数微调大模型的方法，由阿姆斯特丹大学在 2025 年 5 月提出，论文标题是《MaCP：通过分层余弦投影实现简约而强大的适应》，获得了 ACL 2025 最佳主题论文奖。

背景：参数高效微调

大型基础模型的参数动辄几十亿、上百亿，全量微调需要巨大的显存和存储。参数高效微调方法只训练很少一部分参数，其中最流行的是 LoRA（低秩适应）：不直接修改原模型的权重，而是用两个小矩阵的乘积来表示权重的变化量，只训练这两个小矩阵。MaCP 的目标是在 LoRA 的基础上进一步压缩需要训练的参数和内存开销，同时保持甚至提升效果。

离散余弦变换的妙用

MaCP 借助了离散余弦变换（DCT）。DCT 是信号处理里的经典工具，JPEG 图片压缩就用到了它。它能把一组数据转换到频率空间，有两个很有用的性质：一是能量压缩，大部分重要的信息集中在少数几个频率成分上；二是去相关，转换后的各个成分彼此相关性很低。JPEG 正是利用这一点，只保留重要的低频成分、丢掉不重要的高频细节，从而大幅压缩图片而肉眼几乎看不出差别。

MaCP 把同样的思路用在微调上：把低秩适应中的权重变化投影到离散余弦空间，然后在多个频率层次上，挑选出最关键的那些频率成分来训练和保存，其余的丢弃。因为权重变化的“信息”也集中在少数频率上，这样用很少的参数就能表达微调需要的改变。分层的设计让它能在不同的频率尺度上捕捉信息。

效果

论文在自然语言理解、自然语言生成、文本摘要、图像分类、视频理解等多种任务上做了测试，结果显示 MaCP 用明显更少的可训练参数和更低的内存，取得了比 LoRA 等方法更好或相当的效果。对于在有限硬件上微调大模型、或需要为大量用户各自保存一份定制模型的场景，这类方法能显著降低成本。