Hopfield 网络是什么？获诺贝尔奖的联想记忆神经网络

Hopfield 网络是一种能够实现“联想记忆”的神经网络，由美国加州理工学院的物理学家约翰·霍普菲尔德（John Hopfield）在 1982 年提出。他在论文《具有涌现集体计算能力的神经网络和物理系统》中介绍了它的基本理论，这篇论文对人工神经网络研究产生了深远的影响。2024 年，霍普菲尔德与杰弗里·辛顿（Geoffrey Hinton）一起，因“为利用人工神经网络进行机器学习做出的基础性发现和发明”获得诺贝尔物理学奖。

什么是联想记忆

人的记忆有一个特点：只要看到一部分线索，就能回忆起完整的东西。闻到某种味道，想起童年的某个场景；看到一张模糊的老照片，认出照片里的人。Hopfield 网络模仿的正是这种能力：它可以存储若干个模式，比如几张图片，之后给它一个残缺的、带噪声的版本，它能自动“回忆”出最接近的那个完整模式。

它是怎么工作的

Hopfield 网络由一组相互连接的神经元组成，每个神经元的状态只有两种，比如 +1 和 -1，可以看作一张黑白图片的像素。每两个神经元之间都有一个连接权重，而且是对称的。存储模式的方法很简单：根据要记住的模式来设定权重，在同一个模式中状态相同的神经元之间加强连接，状态相反的减弱连接，这就是著名的赫布学习规则“一起激发的神经元连在一起”。

霍普菲尔德的关键贡献，是借用了物理学中“能量”的概念：他为网络定义了一个能量函数，网络的每一种状态都对应一个能量值，而存储的模式恰好位于能量的“谷底”。回忆的过程，就是网络从输入的状态出发，神经元一个个地根据邻居的状态更新自己，能量不断下降，就像小球沿着山坡滚下，最终停在最近的谷底，也就是回忆起了一个完整的存储模式。这个思想把神经网络和统计物理中的自旋玻璃模型联系了起来。

影响

Hopfield 网络本身的存储容量有限，而且可能停在错误的“伪记忆”上，在今天的实际应用中已很少直接使用。但它的意义在于把物理学的思想引入神经网络研究，在 80 年代重新点燃了人们对神经网络的兴趣。辛顿等人随后在它的基础上发展出了玻尔兹曼机。近年来的“现代 Hopfield 网络”大幅提升了存储容量，研究者还发现，它的更新规则与 Transformer 中的注意力机制在数学上密切相关。