高斯核函数是什么？用距离衡量相似度的最常用核函数

高斯核函数（Gaussian Kernel），也叫径向基函数核或 RBF 核，是机器学习中最常用的一种核函数。它用两个样本之间的距离来衡量它们的相似程度：两个样本离得越近，高斯核的值越接近 1；离得越远，值越接近 0。

它是怎么计算的

高斯核的计算方法是：先计算两个样本之间欧氏距离的平方，再除以两倍的带宽参数的平方，取负数之后求以 e 为底的指数。在一些工具库中，它被写成另一种等价的形式：距离的平方乘以一个参数 gamma，取负数后求指数，gamma 越大，相当于带宽越小。它的形状就是正态分布的钟形曲线：在两个样本完全相同时达到最大值 1，随着距离的增加平滑地衰减到接近零。

带宽参数的作用

高斯核有一个关键的参数：带宽，或者说 gamma。它决定了“多近才算相似”，也就是每个样本的影响范围有多大。带宽很小时（gamma 很大），只有离得非常近的样本才被认为相似，每个样本的影响范围很小，模型会变得非常灵活，能够拟合出非常曲折的决策边界，但也很容易过拟合，把训练数据中的噪声也学进去。带宽很大时（gamma 很小），即使离得比较远的样本也被认为相当相似，模型变得非常平滑，决策边界接近于一条直线，可能会欠拟合。因此，带宽是使用高斯核时最需要仔细调节的参数，通常与支持向量机的惩罚参数 C 一起，通过网格搜索和交叉验证来选择。

为什么高斯核如此强大

核函数的作用是：在不需要真正把数据映射到高维空间的情况下，直接计算出数据在高维空间中的内积，这就是核技巧。不同的核函数对应着不同的高维空间。高斯核的特别之处在于，它对应的特征空间是无穷维的。可以把高斯核用泰勒展开写成无穷多项之和，每一项对应着一种多项式特征。这意味着它拥有极强的表达能力：只要参数选择得当，配合高斯核的支持向量机理论上可以拟合几乎任意形状的决策边界。因此，在不知道该用什么核函数时，高斯核常常是首选的默认选项。

主要的应用

支持向量机：高斯核是支持向量机最常用的核函数，让它能够处理非线性的分类和回归问题。高斯过程：在高斯过程回归中，高斯核，在这个领域也常叫平方指数核，被用来描述函数值之间的相关性：输入越接近，对应的输出越相关，从而得到平滑的函数。高斯过程被广泛用于贝叶斯优化中，作为对目标函数的替代模型。核密度估计：用于根据样本估计数据的概率分布，相当于在每个样本的位置放置一个小的高斯“鼓包”，再把它们加起来，得到一条平滑的分布曲线。此外，高斯核还被用于谱聚类中构建相似度矩阵、核主成分分析，以及图像处理中的高斯模糊等。

局限

使用核方法需要计算所有样本两两之间的核函数值，当样本数量达到几十万甚至更多时，计算和存储的开销会非常大。为此，人们提出了随机傅里叶特征、Nyström 方法等近似方法，用有限维的特征来近似高斯核。此外，高斯核基于欧氏距离，在维度很高的数据上，距离的区分能力会下降，效果可能受到影响，使用前也需要对特征进行标准化。