表示定理是什么？最优解一定能写成训练样本核函数的组合

表示定理（Representer Theorem）是核方法理论中的一个重要结论。它告诉我们：在一大类机器学习问题中，即使我们是在一个无穷维的函数空间中寻找最优的函数，最终的最优解也一定可以写成训练样本处核函数的线性组合。这把一个看似无从下手的无穷维优化问题，转化成了一个只需要求解有限个系数的问题。

问题的背景

在核方法中，我们通过核函数把数据隐式地映射到一个高维、甚至是无穷维的特征空间中，然后在这个空间里学习一个函数，比如一个分类器或回归函数。这个特征空间在数学上叫作再生核希尔伯特空间。学习的目标通常是最小化一个由两部分组成的目标函数：一部分是模型在训练数据上的损失，比如分类错误或预测误差；另一部分是对函数复杂度的惩罚，通常是函数在这个空间中的范数，范数越大说明函数越复杂。这就是常见的“经验风险加正则化”的形式。

问题在于，这个函数空间可能是无穷维的，里面的函数有无穷多种可能，我们怎么可能在其中搜索到最优的那一个呢？

表示定理的结论

表示定理给出了答案：只要正则化项是函数范数的一个单调递增的函数，无论损失函数具体是什么形式，最优的函数都一定可以表示为训练样本处核函数的线性组合。也就是说，最优函数等于第一个训练样本处的核函数乘以一个系数，加上第二个训练样本处的核函数乘以一个系数，一直加到最后一个训练样本。这样，原来需要在无穷维空间中寻找一个函数，现在只需要确定与训练样本数量相同的这么多个系数就可以了，问题一下子变成了有限维的。

直观地理解：函数中任何与训练样本处的核函数“无关”的成分，也就是与所有这些核函数都正交的部分，对训练数据上的损失不会产生任何影响，因为在训练样本上计算函数值时，这部分的贡献为零；但它会增大函数的范数，从而增大正则化的惩罚。所以，最优解中一定不会包含这样的成分，它只能由训练样本处的核函数组合而成。

历史和意义

表示定理的早期形式由 George Kimeldorf 和 Grace Wahba 在 1971 年提出，用于研究样条函数的平滑问题。2001 年，Bernhard Schölkopf、Ralf Herbrich 和 Alex Smola 把它推广到了更一般的情况，适用于各种损失函数和单调递增的正则化项，这一般化的版本被广泛地引用。

表示定理为整个核方法提供了理论基础，解释了为什么很多核方法最终都只需要处理样本之间的核函数值：支持向量机的解是支持向量处核函数的线性组合，其中只有少数样本的系数不为零；核岭回归的解可以直接用一个线性方程组求出；核逻辑回归、高斯过程回归的预测均值也都具有这样的形式。它也揭示了核方法的一个局限：由于最优解需要用到所有的训练样本，当训练样本的数量很大时，需要计算和存储的核函数值会非常多，预测时也需要与所有相关的训练样本进行计算，这使得核方法难以扩展到超大规模的数据上。