LoRA 低秩适应是什么？只训练两个小矩阵就能微调大模型

LoRA（Low-Rank Adaptation，低秩适应）是一种用于微调大语言模型的流行技术，由微软的研究人员 Edward Hu 等人在 2021 年的论文《LoRA：大语言模型的低秩适应》中提出。它让普通人用一张消费级显卡就能微调大模型，极大地降低了定制模型的门槛。

它要解决的问题

大模型的参数动辄几十亿到上千亿。全量微调需要更新所有的参数，不仅要大量的显存来保存参数、梯度和优化器状态，还要为每一个任务保存一份完整的模型副本，成本极高。论文以 GPT-3 为例：它有 1750 亿参数，为每个任务都全量微调并部署一份，几乎是不现实的。

LoRA 的核心思想

研究者假设：预训练好的大模型在适应一个新任务时，权重需要变化的部分，其实是“低秩”的，也就是说，这个变化量虽然是一个很大的矩阵，但其中真正独立的信息并不多，可以用两个小得多的矩阵相乘来表示。

于是 LoRA 的做法是：把原来的权重矩阵冻结，不去改动它；在它旁边加上两个小矩阵 A 和 B，它们的乘积就代表权重的变化量。比如原来的权重矩阵是 4096 乘 4096，有约 1680 万个参数；如果选择秩为 8，那么 A 是 4096 乘 8、B 是 8 乘 4096，加起来只有约 6.5 万个参数，少了两百多倍。训练时只更新 A 和 B。计算时，输入同时经过原始权重和 A、B 两条路径，结果相加。B 通常初始化为零，所以训练刚开始时，模型的行为和原模型完全一样。

优点

论文报告，用 LoRA 微调 GPT-3，可训练的参数量减少了约一万倍，显存需求减少了约三分之二，而效果与全量微调相当甚至更好。它还有几个很实用的优点：推理时可以把 A 和 B 的乘积直接合并回原始权重中，完全不增加推理的延迟；每个任务只需要保存很小的 A 和 B，通常只有几十兆，同一个基础模型可以搭配很多个 LoRA “插件”，按需快速切换；冻结原模型也有助于保留它原有的通用能力。

广泛的应用和变体

LoRA 迅速成为最流行的参数高效微调方法，被广泛用于大语言模型的指令微调和领域适配。在 AI 绘画社区，LoRA 也极为流行：用户用十几张图片就能训练一个小的 LoRA，让 Stable Diffusion 学会画特定的人物、画风或物体，并在社区中分享。此后出现了大量的改进版本：QLoRA 结合 4 比特量化，让单张显卡就能微调几百亿参数的模型；DoRA、LoRA+ 等方法进一步提升了效果和训练效率。