支持向量展式是什么？SVM 的解只由支持向量组合而成

支持向量展式（Support Vector Expansion）是指支持向量机的最优解，可以写成训练样本处核函数的线性组合，而且只有支持向量才真正出现在这个组合中。这一性质揭示了支持向量机模型的结构：最终的分类器只由少数几个关键的训练样本决定。

从对偶问题得到的解

支持向量机要寻找一个让间隔最大的分界超平面。这个优化问题通常通过拉格朗日对偶的方法来求解：为每一个训练样本引入一个拉格朗日乘子，把原来的问题转化为关于这些乘子的对偶问题。求解对偶问题之后，分界超平面的权重向量可以表示为：所有训练样本的特征向量，乘以各自的乘子和标签，再全部加起来。于是，模型对一个新样本的预测，等于每个训练样本的乘子乘以它的标签，再乘以这个训练样本与新样本之间的内积，然后全部相加，最后加上偏置。

当使用核函数时，只需要把内积换成核函数，模型就变成：对所有训练样本，把乘子、标签和核函数值相乘再求和，加上偏置。这就是支持向量展式。它说明，即使核函数对应的是一个无穷维的特征空间，我们并不需要在那个空间中显式地表示权重向量，只需要用训练样本和核函数就能完成预测。

为什么只有支持向量

根据优化理论中的 KKT 条件，每个训练样本的拉格朗日乘子要么等于零，要么这个样本恰好位于间隔的边界上（对于软间隔支持向量机，还包括落在间隔内或被分错的样本）。那些离分界面很远、被正确分类并且在间隔之外的样本，它们的乘子都等于零，在展式中的贡献为零，可以直接去掉。只有乘子不为零的那些样本留在了展式中，它们就是支持向量。这意味着，支持向量机训练完成之后，大部分的训练样本都不再需要保留，最终的模型只与支持向量有关。这种性质叫作解的稀疏性。

这一性质的意义

它揭示了支持向量机的本质：分类边界完全由少数几个“关键”的样本决定，它们是离边界最近、最难区分的那些样本，就像撑起帐篷的几根支柱。即使删除或移动其他的样本，只要它们不越过间隔，模型都不会改变。它带来了计算上的好处：预测时，只需要计算新样本与各个支持向量之间的核函数值，而不需要与所有的训练样本进行计算。支持向量的数量越少，预测越快。它也与泛化能力相关：理论上，支持向量所占的比例越小，模型的泛化误差往往越小，留一法交叉验证误差的上界可以用支持向量的数量除以样本总数来估计。

与表示定理的关系

支持向量展式是更一般的表示定理在支持向量机中的具体体现。表示定理指出：在再生核希尔伯特空间中，最小化“经验损失加上一个单调递增的正则化项”时，最优解一定可以表示为训练样本处核函数的线性组合。支持向量机的特殊之处在于它使用的合页损失：对于那些已经被正确分类且有足够间隔的样本，合页损失为零，正是这一点使得大部分样本的系数为零，展式变得稀疏。而核岭回归等使用平方损失的方法，所有样本的系数通常都不为零，没有这种稀疏性。