受限玻尔兹曼机是什么？深度学习兴起前的重要生成式模型

受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是一种由两层神经元组成的随机神经网络，它能够学习输入数据的概率分布，属于生成式模型。它在 21 世纪初的深度学习复兴中扮演了关键的角色。

从玻尔兹曼机说起

玻尔兹曼机由 Geoffrey Hinton 和 Terrence Sejnowski 在 1985 年前后提出，名字来自统计物理学中的玻尔兹曼分布。它是一种所有神经元之间都可以相互连接的随机网络，每个神经元的状态是随机的，以一定的概率取 0 或 1。整个网络有一个“能量”，能量越低的状态出现的概率越高，网络通过学习调整连接的权重，让训练数据对应的状态具有更低的能量、更高的概率。但普通的玻尔兹曼机因为所有神经元之间都有连接，训练起来极其困难，几乎无法用于实际的问题。

“受限”在哪里

受限玻尔兹曼机对网络的结构加了限制：它只有两层，一层是可见层，用来接收输入的数据，比如一张图片的像素；另一层是隐藏层，用来学习数据中的特征。神经元只在两层之间相互连接，同一层内部的神经元之间没有连接。这个限制带来了很大的好处：在已知可见层状态的情况下，隐藏层的各个神经元是相互独立的，可以同时计算；反过来也一样。这让推断和训练都变得容易多了。这种模型最早由 Paul Smolensky 在 1986 年以“簧风琴”（Harmonium）的名字提出，但直到 Hinton 在 2002 年提出了“对比散度”这种高效的近似训练方法之后，它才真正流行起来。

它能学到什么

受限玻尔兹曼机在训练之后，隐藏层的神经元会学会表示输入数据中的特征。比如在手写数字的图片上训练后，隐藏层的不同神经元会对不同的笔画模式做出反应。它学到的是数据的概率分布，因此也可以用来生成与训练数据相似的新样本，或者补全数据中缺失的部分。

历史上的重要作用

深度信念网络：2006 年，Hinton 等人发表了一项具有里程碑意义的研究：他们把多个受限玻尔兹曼机堆叠起来，逐层进行无监督的预训练，每一层学习前一层输出的特征，再对整个网络进行微调。这种方法成功地训练出了多层的深度神经网络，被称为深度信念网络。在当时，深层的神经网络被普遍认为难以训练，这项工作重新点燃了人们对深度神经网络的兴趣，被视为深度学习兴起的开端之一。

推荐系统：在 2006 到 2009 年举办的 Netflix 电影推荐大赛中，基于受限玻尔兹曼机的协同过滤方法表现出色，成为获胜方案中的重要组成部分之一。

今天的地位

后来，随着 ReLU 激活函数、更好的初始化方法、批归一化等技术的出现，以及大规模数据和 GPU 算力的普及，深度神经网络已经可以直接用反向传播进行训练，不再需要逐层预训练。在生成式模型方面，变分自编码器、生成对抗网络、扩散模型等方法也取代了受限玻尔兹曼机。因此，受限玻尔兹曼机如今已很少在实际中使用，但它在深度学习发展史上的地位十分重要。2024 年，Hinton 与 John Hopfield 因在人工神经网络领域的奠基性工作获得了诺贝尔物理学奖，玻尔兹曼机正是被提及的贡献之一。