流形假设是什么？真实数据其实挤在高维空间里一小片低维区域

流形假设（Manifold Hypothesis）是机器学习中一个重要的基本假设：现实世界中的高维数据，比如图像、语音和文本，虽然表面上处于一个维度非常高的空间中，但实际上集中分布在这个空间中的一个低维的“流形”附近，只占据了整个空间中极小的一部分。

一个直观的例子

以一张 256 乘 256 像素的彩色照片为例：它有 256 乘 256 乘 3，大约二十万个数值，可以看作一个大约二十万维的空间中的一个点。如果在这个空间中随机地取一个点，也就是让每个像素都随机地取一个颜色，得到的会是什么？几乎可以肯定是一片毫无意义的彩色雪花噪声，你永远也不可能通过随机地生成像素而得到一张猫的照片或者一张风景照。这说明，所有“有意义的”照片，只占据了这个巨大空间中一个极其微小的区域。

而且，这个区域是有结构的：一张人脸照片，稍微改变一下光照、让脸稍微转动一点角度、改变一下表情，得到的仍然是一张正常的人脸照片，它们在空间中连续地变化，形成了一个光滑的“曲面”。控制这些变化的因素，比如朝向、光照、表情、年龄，数量远远少于像素的数量。这个由少数几个因素控制的、弯曲的低维曲面，就是流形。

为什么这个假设很重要

解释机器学习为什么能行：在高维空间中，存在一个叫“维度灾难”的问题：随着维度的增加，空间的体积以指数的速度膨胀，要想均匀地覆盖整个空间，需要的样本数量也会以指数的速度增长。按照这个道理，在二十万维的空间中学习几乎是不可能的。但如果数据实际上分布在一个低维的流形上，学习的难度就主要取决于流形的维度，而不是原始空间的维度，这就大大降低了问题的难度。

指导模型的设计：流形学习的方法，比如 Isomap、局部线性嵌入，直接基于这个假设，试图找出数据所在的低维流形。在半监督学习中，流形假设意味着：在流形上相互靠近的样本，很可能属于同一个类别，因此可以利用大量没有标签的数据来揭示流形的结构，帮助分类。自编码器和变分自编码器把高维数据压缩到一个低维的潜在空间中，再还原回来，实际上就是在学习数据流形的一种表示。

理解生成模型：生成对抗网络、扩散模型等生成模型能够生成逼真的图片，可以理解为它们学会了真实图片所在的流形，能够在这个流形上“取点”。在潜在空间中，从一张人脸平滑地过渡到另一张人脸，生成的中间图片仍然是合理的人脸，这正体现了数据流形的连续结构。研究者还用流形的观点来理解对抗样本：对图片做人眼难以察觉的微小修改，可能让它偏离了数据的流形，进入了模型从未见过的区域，导致模型犯错。

它只是一个假设

需要指出的是，流形假设是一个经验性的假设，而不是严格证明的定理。真实数据所在的结构可能比光滑的流形复杂得多，可能由多个不同维度的部分组成，也可能带有噪声。不过，大量的实验观察都支持这个假设大致成立，比如研究者估计出 MNIST、ImageNet 等图像数据集的“内在维度”远低于像素的数量。它为理解深度学习为什么能够有效地处理高维数据提供了一个有用的视角。