广义瑞利商是什么？线性判别分析背后的优化目标

广义瑞利商（Generalized Rayleigh Quotient）是线性代数中的一个概念，它是两个二次型的比值。它在机器学习中最著名的应用是线性判别分析：线性判别分析要最大化的目标，正好就是一个广义瑞利商，因此求解线性判别分析就转化为求解一个特征值问题。

从瑞利商说起

瑞利商以英国物理学家瑞利勋爵的名字命名，他在研究振动问题时使用了这一概念。对于一个对称矩阵 A 和一个非零向量 w，瑞利商定义为：w 的转置乘以 A 再乘以 w，除以 w 的转置乘以 w。分母实际上就是向量 w 长度的平方，所以瑞利商与 w 的长度无关，只与它的方向有关。瑞利商有一个重要的性质：它的最大值等于矩阵 A 的最大特征值，最小值等于 A 的最小特征值，而取到最大值和最小值的方向，正好就是对应的特征向量。这让我们可以把“寻找让某个比值最大的方向”这样的优化问题，转化为求矩阵特征值和特征向量的问题。

广义瑞利商

广义瑞利商把分母中的 w 的转置乘以 w，换成了 w 的转置乘以另一个矩阵 B 再乘以 w，其中 B 是一个对称正定矩阵。也就是说，它衡量的是在 B 所定义的度量下，A 所代表的量有多大。广义瑞利商同样与 w 的长度无关。它的最大值和最小值，分别等于广义特征值问题“A 乘以 w 等于 λ 乘以 B 再乘以 w”的最大和最小广义特征值，对应的方向就是相应的广义特征向量。当 B 可逆时，这个问题等价于求矩阵 B 的逆乘以 A 的特征值和特征向量。当 B 是单位矩阵时，广义瑞利商就退化为普通的瑞利商。

在线性判别分析中的应用

线性判别分析由英国统计学家罗纳德·费希尔在 1936 年提出，它的目标是找到一个投影方向 w，把高维的数据投影到这个方向上之后，让不同类别的数据尽可能地分开。费希尔提出了一个衡量标准：投影之后，各个类别的中心之间的距离要尽可能大，同时每个类别内部的数据要尽可能紧凑。前者用类间散度矩阵来描述，后者用类内散度矩阵来描述。于是，要最大化的目标就是：w 的转置乘以类间散度矩阵再乘以 w，除以 w 的转置乘以类内散度矩阵再乘以 w。这正是一个以类间散度矩阵为 A、以类内散度矩阵为 B 的广义瑞利商。

根据广义瑞利商的性质，最优的投影方向就是对应于最大广义特征值的那个广义特征向量。对于二分类问题，这个方向可以直接写成类内散度矩阵的逆乘以两个类别中心之差。对于多分类问题，如果有 K 个类别，可以取前 K 减 1 个最大的广义特征值所对应的特征向量，把数据投影到一个 K 减 1 维的空间中，这也使得线性判别分析可以作为一种有监督的降维方法。

其他应用

广义瑞利商还出现在很多其他的问题中：在谱聚类中，归一化切分问题经过数学放松后，可以转化为一个广义瑞利商的优化问题；典型相关分析用来寻找两组变量之间相关性最大的方向，也可以写成广义特征值问题；在物理学和工程中，它被用来求解振动系统的固有频率，比如结构的振动分析中，刚度矩阵与质量矩阵构成的广义瑞利商的极值就对应着结构的振动频率。