核方法是什么？借助核函数在高维空间里解决非线性问题

核方法（Kernel Method）是一类利用核函数来处理非线性问题的机器学习方法。它的核心思想是：把原本在低维空间中无法用直线或平面分开的数据，映射到一个更高维的空间中，在那里用简单的线性方法来解决问题；而借助核函数，这个映射可以“隐式”地完成，不需要真的去计算高维空间中的坐标。

从一个例子说起

假设平面上有两类点：一类点聚集在原点附近，另一类点在外面围成一个圆环。在这个二维平面上，无论怎么画直线，都无法把内圈和外圈的点分开。但如果为每个点增加一个新的维度，也就是它到原点距离的平方，把这些点“抬升”到三维空间中：离原点近的点抬得低，离原点远的点抬得高。这时，用一个水平的平面就能轻松地把两类点分开了。这说明：在低维空间中非线性的问题，映射到高维空间后可能就变成了线性的问题。

核技巧

问题在于，为了让数据在高维空间中变得线性可分，有时需要映射到维度非常高、甚至是无穷维的空间中。在这样的空间中直接计算，代价高得无法承受，甚至根本无法计算。核技巧巧妙地解决了这个问题：研究者发现，支持向量机等很多算法在计算时，实际上只需要用到样本两两之间的内积，而不需要知道每个样本在高维空间中的具体坐标。而核函数正好能直接根据原始空间中的两个样本，计算出它们映射到高维空间之后的内积。这样，就可以在原始的低维空间中进行计算，却获得了在高维空间中进行线性处理的效果。这就是核技巧。

一个函数能否作为核函数，需要满足一定的数学条件，即默瑟定理所描述的条件：对于任意一组样本，由核函数值组成的矩阵必须是半正定的。每一个满足条件的核函数都对应着某个特征空间，这个空间被称为再生核希尔伯特空间。

常用的核函数

线性核：就是原始空间中的内积，相当于不进行映射。多项式核：对应于包含原始特征的各种乘积组合的高维空间。高斯核，也叫径向基函数核：对应于一个无穷维的特征空间，表达能力极强，是最常用的核函数。Sigmoid 核：形式上与神经网络的激活函数相似。此外，人们还为特定类型的数据设计了专门的核函数，比如用于比较字符串、文本、图结构、基因序列的核函数，这让核方法可以直接处理非数值型的数据。

代表性的核方法

支持向量机：核方法最著名的应用。1992 年，Bernhard Boser、Isabelle Guyon 和 Vladimir Vapnik 把核技巧引入支持向量机，使它能够处理非线性的分类问题，并在 20 世纪 90 年代到 21 世纪初成为最受欢迎的机器学习方法之一。核主成分分析：主成分分析的非线性版本，由 Bernhard Schölkopf 等人在 1998 年提出，能够发现数据中非线性的主要结构。核岭回归：岭回归的非线性版本。高斯过程：一种贝叶斯的非参数方法，核函数在其中描述了函数值之间的相关性，被用于回归和贝叶斯优化。

优缺点

核方法有扎实的数学理论基础，很多问题可以转化为凸优化问题，保证找到全局最优解；在样本量中等、维度较高的问题上效果很好。它的主要缺点是计算量随样本数量快速增长：需要计算和存储所有样本两两之间的核函数值，样本数达到几十万时就会变得难以承受；效果也很依赖于核函数及其参数的选择。随着深度学习的兴起，在大规模的数据上，神经网络在很大程度上取代了核方法。不过，研究者也发现了两者之间深刻的联系：比如“神经正切核”理论表明，宽度趋于无穷的神经网络在训练时的行为等价于一种核方法，这为理解深度学习提供了新的视角。