正定矩阵是什么？任何方向上都“向上弯”的对称矩阵

正定矩阵（Positive Definite Matrix）是线性代数中一类性质非常好的对称矩阵。一个对称矩阵 A 被称为正定的，如果对于任何一个不全为零的向量 x，都有“x 的转置乘以 A 再乘以 x”大于零。这个乘积叫作二次型。如果条件放宽为大于或等于零，就叫作半正定矩阵。正定矩阵在优化、统计和机器学习中随处可见。

直观理解

在单个变量的情况下，正定就相当于一个正数。比如二次函数 a 乘以 x 的平方，当 a 大于零时，函数的图像是一个开口向上的抛物线，在 x 等于零时取得唯一的最小值。正定矩阵把这个概念推广到了多个变量：由正定矩阵定义的二次函数，在任何方向上看都是开口向上的，它的图像像一个向上开口的“碗”，只有一个最低点。比如在两个变量的情况下，函数“x 的平方加 y 的平方”对应的矩阵是单位矩阵，它是正定的，图像是一个圆形的碗；而函数“x 的平方减 y 的平方”对应的矩阵不是正定的，它的图像是一个马鞍形，在一个方向上向上弯、在另一个方向上向下弯。

如何判断一个矩阵是否正定

对于对称矩阵，以下几个条件是相互等价的：对于任何非零向量，二次型都大于零；所有的特征值都大于零；所有的顺序主子式，也就是左上角的一阶、二阶直到 n 阶子矩阵的行列式，都大于零，这叫西尔维斯特判据；矩阵可以分解为一个下三角矩阵乘以它自己的转置，这叫 Cholesky 分解。在实际的数值计算中，尝试进行 Cholesky 分解是判断一个矩阵是否正定的高效方法：如果分解成功，矩阵就是正定的。正定矩阵还有一些好的性质：它一定是可逆的，它的逆矩阵也是正定的；两个正定矩阵之和仍然是正定的。

在优化中的作用

在多变量函数的优化中，函数在某一点的二阶导数组成的海森矩阵，描述了函数在这一点附近的弯曲情况。如果在梯度为零的点上，海森矩阵是正定的，这个点就是一个局部最小值；如果海森矩阵在整个定义域上都是半正定的，这个函数就是凸函数，任何局部最小值都是全局最小值，可以放心地用梯度下降求解。线性回归的最小二乘问题、支持向量机的优化问题，背后的矩阵都是半正定或正定的，这保证了它们有唯一的全局最优解。在牛顿法中，如果海森矩阵正定，计算出的方向一定是下降的方向；拟牛顿法正是通过保持近似矩阵的正定性，来保证每一步都朝着下降的方向前进。

在统计和机器学习中的作用

协方差矩阵：任何一组数据的协方差矩阵都是半正定的，因为任何方向上数据的方差都不可能是负数。如果没有任何特征是其他特征的线性组合，协方差矩阵就是正定的。多元正态分布的定义中，就要求协方差矩阵是正定的。主成分分析对协方差矩阵进行特征值分解，正是利用了它的特征值都非负的性质。核矩阵：在核方法中，一个函数能够作为核函数的条件，就是对于任何一组样本，由它们两两之间的核函数值组成的矩阵都是半正定的，这叫默瑟条件。只有满足这个条件，核函数才能对应于某个特征空间中的内积，支持向量机的优化问题才是凸的。在高斯过程中，协方差函数产生的矩阵也必须是正定的。数值计算中，有时为了保证矩阵的正定性和数值的稳定，会在矩阵的对角线上加上一个很小的正数，比如岭回归中的正则化项，就起到了这样的作用。