流形学习是什么？发现高维数据背后隐藏的低维结构

流形学习（Manifold Learning）是一类非线性的降维方法。它基于这样一个假设：很多看起来非常高维的数据，实际上分布在一个维度低得多、但可能是弯曲的结构上，这个结构叫作流形。流形学习的目标就是找出这个隐藏的低维结构，把数据“展开”到一个低维的空间中，同时保持数据之间重要的关系。

什么是流形

流形是一个数学概念，可以粗略地理解为：从局部来看像平坦的空间，但从整体来看可能是弯曲的。地球的表面就是一个二维的流形：站在地面上，脚下的一小块地方看起来是平的，可以用一张平面地图来描述；但整个地球表面是一个弯曲的球面，它存在于三维的空间中。

一个经典的例子是“瑞士卷”数据集：一张二维的平面纸被卷成了一个卷，放在三维的空间中。卷上的每个点都有三个坐标，但这些点本质上只需要两个坐标就能描述，也就是它在原来那张纸上的位置。如果直接用三维空间中的直线距离来衡量两个点有多远，就可能出错：卷上相邻两层的点，在三维空间中离得很近，但沿着纸面走，它们实际上相距很远。流形学习要做的，就是把这个卷重新“展开”成平面。

为什么数据会分布在流形上

以人脸照片为例：一张 100 乘 100 像素的灰度照片有一万个像素，可以看作一万维空间中的一个点。但在一万维的空间中随机地取一个点，得到的几乎总是一片毫无意义的噪声，而不是人脸。真正的人脸照片只占据了这个巨大空间中极小的一部分，而且人脸照片的变化，主要是由少数几个因素决定的，比如脸的朝向、光照的方向、表情。这说明人脸照片实际上分布在一个由少数几个因素控制的低维流形上。这就是“流形假设”，它被认为是机器学习能够在高维数据上有效工作的重要原因之一。

代表性的方法

2000 年，《科学》杂志同期发表了两篇开创性的论文，开启了流形学习的研究热潮。等度量映射（Isomap）：由 Joshua Tenenbaum 等人提出。它不使用两点之间的直线距离，而是沿着数据分布的流形来测量距离，叫作测地距离：先把每个点与它附近的邻居连接起来，构成一张图，再用图上的最短路径来近似测地距离，最后寻找一个能够保持这些距离的低维表示。局部线性嵌入（LLE）：由 Sam Roweis 和 Lawrence Saul 提出。它假设每个点都可以用它的几个邻居的线性组合来近似表示，然后在低维空间中寻找一种排列，让每个点仍然能够用同样的权重由它的邻居表示出来，也就是保持局部的线性关系。此后又出现了拉普拉斯特征映射、海森局部线性嵌入等方法。在数据可视化方面广泛使用的 t-SNE（2008 年）和 UMAP（2018 年），也可以看作流形学习的方法。

局限和影响

经典的流形学习方法对邻居数量等参数比较敏感，对噪声不够稳健，计算复杂度较高，而且很难把新的数据点映射到已经学到的低维空间中。如今，流形学习主要用于数据的可视化和探索性分析。但流形假设的思想深刻地影响了深度学习：自编码器、变分自编码器等模型学习到的潜在空间，可以看作是对数据流形的一种参数化表示；生成模型生成逼真图片的能力，也被理解为学会了真实图片所在的流形。