低秩近似是什么？用更简单的矩阵逼近原来的大矩阵

低秩近似（Low-rank Approximation）是用一个“更简单”的矩阵来尽可能地逼近原始矩阵的数学方法。它是一个最小化问题：衡量原始矩阵（数据）与近似矩阵之间的差距，让差距尽量小，但要求近似矩阵的秩必须低于某个值。它被广泛用于数学建模和数据压缩。

什么是矩阵的秩

矩阵的秩，可以粗略地理解为矩阵中真正“独立”的信息有多少维。一个 1000 行 1000 列的矩阵，看起来有一百万个数字，但如果它的秩只有 10，就意味着它的所有行（或列）都可以由 10 个基本的向量组合出来，背后真正包含的信息远少于一百万个数字。一个秩为 r 的矩阵，可以分解成一个 1000 乘 r 的矩阵和一个 r 乘 1000 的矩阵的乘积，存储量从一百万个数字降到了两万个左右。

现实中的很多数据矩阵虽然不是严格的低秩，但“近似”低秩：大部分信息集中在少数几个主要的方向上，其余的是噪声或次要的细节。低秩近似就是保留主要的结构，丢掉次要的部分，秩的约束也就对应着对拟合数据的模型复杂度的约束。

怎么求

最经典的方法是奇异值分解（SVD）：任何矩阵都可以分解成三个矩阵的乘积，中间那个矩阵的对角线上是一组从大到小排列的“奇异值”，它们反映了各个方向上信息的重要程度。只保留最大的 k 个奇异值及对应的部分，就得到了秩为 k 的近似矩阵。埃卡特-杨定理证明，这样得到的近似，在常用的误差衡量方式下是所有秩为 k 的矩阵中误差最小的，也就是最优的低秩近似。

应用

数据压缩和降维：主成分分析（PCA）本质上就是一种低秩近似，用少数几个主成分来概括高维数据；图像也可以用低秩近似来压缩。推荐系统：用户对商品的评分矩阵大部分是空的，矩阵分解方法假设这个矩阵是低秩的，用少数几个“隐因子”（比如对口味、风格的偏好）来解释用户和商品，从而预测缺失的评分，这是推荐系统的经典方法。去噪：保留主要的结构、去掉次要的部分，往往能去除噪声。

在大模型领域，低秩近似的思想有很多重要的应用：LoRA 微调方法假设模型权重在微调时的变化量是低秩的，只用两个小矩阵的乘积来表示它，大大减少了需要训练的参数；对模型的权重矩阵做低秩分解，可以压缩模型、加速推理；DeepSeek 的多头潜在注意力（MLA）也利用低秩压缩来减小 KV 缓存。