希尔伯特空间是什么？可以谈长度、角度和极限的无穷维向量空间

希尔伯特空间（Hilbert Space）是数学中一种非常重要的空间，可以理解为我们熟悉的二维、三维欧几里得空间向无穷多个维度的推广。在这个空间里，仍然可以谈论向量的长度、两个向量之间的夹角、垂直和投影，并且可以放心地取极限。它以德国数学家大卫·希尔伯特的名字命名，他在 20 世纪初研究积分方程时使用了这类空间，后来冯·诺依曼给出了抽象的公理化定义。

它的两个关键性质

有内积：内积是一种把两个向量变成一个数的运算，推广了平面上的“点积”。有了内积，就可以定义向量的长度（向量与自身内积的平方根）、两个向量之间的距离和夹角，以及“正交”，也就是内积为零、相互垂直。完备：空间中任何一个“越来越收敛”的序列，它的极限仍然在这个空间之中，不会“跑到空间外面去”。这就像实数轴是完备的，而有理数不是：一串越来越接近根号 2 的有理数，它的极限根号 2 并不是有理数。完备性保证了在希尔伯特空间中进行分析和取极限是安全的。同时满足这两点的空间，就是希尔伯特空间。

无穷维的例子

有限维的欧几里得空间本身就是希尔伯特空间。更有意思的是无穷维的例子。一个典型的例子是平方可积函数构成的空间：在某个区间上，所有平方之后积分有限的函数组成的集合。在这里，每一个函数都可以看作一个“向量”，两个函数的内积定义为它们乘积的积分。于是可以谈论两个函数之间的“距离”和“夹角”，还可以把一个函数分解为一组相互正交的基函数的组合。傅里叶级数正是这样做的：把一个周期函数分解为一系列正弦和余弦函数的叠加，这些正弦和余弦函数就是希尔伯特空间中的一组正交基，傅里叶系数就是函数在各个基上的投影。另一个例子是所有平方和有限的无穷数列组成的空间。

在物理学中

希尔伯特空间是量子力学的数学框架：一个量子系统的状态，被表示为某个希尔伯特空间中的一个向量；可以观测的物理量，比如能量、位置，对应着作用在这个空间上的算符，测量可能得到的值就是算符的特征值。量子叠加原理对应着向量的线性组合。冯·诺依曼在 1932 年的著作《量子力学的数学基础》中系统地建立了这一框架。

在机器学习中

在机器学习中，希尔伯特空间最重要的出现形式是再生核希尔伯特空间，它是核方法的理论基础。核函数可以隐式地把数据映射到一个高维、甚至是无穷维的希尔伯特空间中，在那里，原本复杂的非线性问题可能变成线性的。核函数的值，正好等于两个数据点在这个空间中的内积，这就是核技巧。“再生”这个名字来自一个特殊的性质：在这个空间中，计算一个函数在某一点的值，等价于把这个函数与该点对应的核函数做内积。基于这一性质，可以证明表示定理：在这类空间中最小化“经验损失加正则化”时，最优解一定可以写成训练样本处核函数的线性组合，从而把无穷维的优化问题化为有限维的问题。支持向量机、高斯过程、核岭回归等方法都建立在这一理论之上。