再生核希尔伯特空间是什么？核方法背后的函数空间

再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）是一种特殊的函数空间，它由一个核函数唯一地确定，是核方法的数学基础。支持向量机、核岭回归、高斯过程等方法之所以能够在高维甚至无穷维的空间中高效地工作，背后的理论正是再生核希尔伯特空间。

先理解“函数构成的空间”

我们熟悉的向量空间中，元素是一个个向量，可以相加、可以乘以数，还可以计算长度和夹角。希尔伯特空间把这些概念推广到了更一般的情况，它的元素可以是函数：两个函数可以相加，函数可以乘以一个数，还可以定义两个函数之间的内积，从而谈论函数的“长度”，也就是范数，以及两个函数之间的“距离”。在机器学习中，我们要学习的模型就是一个函数，因此可以把“学习”看作在一个函数空间中寻找最合适的那个函数。

“再生”是什么意思

再生核希尔伯特空间有一个关键的性质，叫作再生性：对于空间中任何一个函数，它在某一点 x 处的取值，等于这个函数与“以 x 为中心的核函数”之间的内积。也就是说，核函数像一个“探针”，用它和函数做内积，就能“再现”出函数在这一点的值。由这一性质还可以推出：两个以不同点为中心的核函数之间的内积，恰好就等于这两个点之间的核函数值。这正是核技巧成立的数学根据：核函数的值，就是数据点被映射到这个高维函数空间之后的内积，而我们根本不需要知道映射后的具体坐标。

核函数与空间的一一对应

1950 年，波兰裔美国数学家 Nachman Aronszajn 系统地建立了再生核希尔伯特空间的理论。其中的 Moore-Aronszajn 定理指出：每一个对称的正定核函数，都唯一地对应着一个再生核希尔伯特空间；反过来，每一个再生核希尔伯特空间也有唯一的再生核。这意味着，选择一个核函数，就等于选择了一个特定的函数空间，也就决定了模型能够表示什么样的函数，以及什么样的函数被认为是“简单”的：在这个空间中范数越小的函数越平滑、越简单。比如高斯核对应的空间中，所有的函数都是非常平滑的。

在机器学习中的作用

表示定理：在再生核希尔伯特空间中，最小化“训练误差加上函数范数的正则化项”时，最优解一定可以写成训练样本处核函数的线性组合。这把一个在无穷维空间中寻找函数的问题，变成了只需要确定有限个系数的问题，使得核方法在计算上变得可行。正则化的含义：在这个空间中，惩罚函数的范数，就相当于惩罚函数的复杂程度、鼓励函数平滑，这为防止过拟合提供了自然的方式。高斯过程：高斯过程回归与核岭回归在形式上密切相关，高斯过程的协方差函数就是一个核函数。核均值嵌入：把整个概率分布映射为再生核希尔伯特空间中的一个点，从而可以比较两个分布之间的差异，最大均值差异（MMD）就是基于这一思想，被用于两样本检验、领域自适应和生成模型。近年来，“神经正切核”理论表明，宽度趋于无穷的神经网络在训练时的行为等价于在某个再生核希尔伯特空间中进行核回归，这为从核方法的角度理解深度学习提供了一条途径。