分离超平面是什么？把两类数据隔开的那个“平面”

分离超平面（Separating Hyperplane）是指在空间中，能够把两类数据点完全分隔在两侧的那个“平面”。它是理解线性分类器，比如感知机、逻辑回归和支持向量机的核心概念。

什么是超平面

超平面是平面概念在任意维度空间中的推广。在一个 n 维的空间中，超平面是一个 n 减 1 维的子空间，它把整个空间分成两半。在二维的平面上，超平面就是一条直线，它把平面分成两部分；在三维的空间中，超平面就是一个普通的平面，它把空间分成上下两部分；在更高维的空间中，我们无法直观地想象它的样子，但在数学上的处理方式是一样的。一个超平面可以用一个简单的方程来描述：一个法向量与空间中点的坐标的内积，再加上一个偏置，等于零。法向量决定了超平面的方向，它垂直于超平面；偏置决定了超平面离原点有多远。对于空间中的任意一点，把它代入这个方程的左边，如果结果大于零，这个点就在超平面的一侧；小于零，就在另一侧。

分离超平面与线性可分

在分类问题中，如果存在一个超平面，能够让所有的正类样本都位于它的一侧，所有的负类样本都位于另一侧，这个超平面就叫作分离超平面，这样的数据就被称为线性可分的。线性分类器做出的判断，本质上就是看一个样本落在超平面的哪一侧。

当数据线性可分时，分离超平面通常不止一个，而是有无数个：只要稍微移动或旋转一下，只要不碰到任何一个样本，它仍然能把两类数据分开。那么，应该选择哪一个呢？不同的算法给出了不同的答案。

感知机：找到一个就行

感知机算法从一个随机的超平面开始，每遇到一个被分错的样本，就调整一下超平面的位置，直到所有的样本都被正确地分开为止。感知机收敛定理保证：只要数据是线性可分的，算法一定能在有限的步数内找到一个分离超平面。但它找到的只是无数个分离超平面中的某一个，具体是哪一个，取决于初始值和样本的顺序。这样得到的超平面可能离某些样本非常近，对于新的数据，稍有偏差就可能被分错。

支持向量机：找间隔最大的那一个

支持向量机给出了一个更加明确的标准：在所有的分离超平面中，选择离两类样本中最近的点都尽可能远的那一个，也就是让间隔最大的那个超平面。这个超平面是唯一的。直观上，它位于两类数据的“正中间”，在两侧都留出了最宽的缓冲区，对新数据的小扰动最不敏感，因此泛化能力通常更好。决定这个最优超平面位置的，只是那些离它最近的少数几个样本，它们叫作支持向量。

当数据线性不可分时

在现实中，很多数据并不是线性可分的，根本不存在一个完美的分离超平面。这时有两种处理方式：一是允许少数样本被分错，比如软间隔支持向量机，在间隔大小和分类错误之间进行权衡；二是借助核技巧，把数据映射到更高维的空间中，在那里数据可能变得线性可分，可以找到一个分离超平面，而它映射回原始空间后，对应的是一个弯曲的决策边界。在神经网络中，也可以理解为前面的各层把数据变换到了一个新的空间中，让最后一层能够用一个超平面把不同的类别分开。