彩票假说是什么？大网络里藏着一张能单独训练的“中奖彩票”

彩票假说（Lottery Ticket Hypothesis）是关于神经网络为什么能被训练好的一个著名假说，由 MIT 的 Jonathan Frankle 和 Michael Carbin 在 2018 年提出，论文标题是《彩票假说：寻找稀疏、可训练的神经网络》，获得了 ICLR 2019 的最佳论文奖。

背景：剪枝之谜

神经网络剪枝技术可以把训练好的网络的参数减少 90% 以上，大幅降低存储需求、提升推理速度，同时几乎不损失精度。这说明大网络里有大量参数其实是多余的。但一个让人困惑的经验是：如果直接拿剪枝后得到的稀疏结构，从头开始训练，往往训练不好，达不到原来的精度。既然小网络能表达同样的功能，为什么不能直接训练小网络？

假说的内容

研究者发现，标准的剪枝方法会自然地找出一些特殊的子网络，它们的初始值让它们能够被有效地训练。由此他们提出了彩票假说：一个随机初始化的密集神经网络中，包含一个子网络，如果用这个子网络原本的初始值单独训练，它可以在至多相同的迭代次数内，达到和原始网络相当的测试精度。这样的子网络被称为“中奖彩票”。

这个比喻很形象：训练一个大网络，就像买了一大把彩票，其中某几张恰好“中奖”，也就是恰好有一组幸运的初始值组合。大网络之所以容易训练，部分原因是它包含了足够多的子网络，大大提高了其中有中奖彩票的概率。关键在于初始值：同样的稀疏结构，如果重新随机初始化，就训练不好了。

怎么找到中奖彩票

论文提出的方法是迭代剪枝：先训练整个网络，剪掉数值最小的一部分参数，再把剩下的参数重置回它们最初的初始值，重新训练，如此反复。用这种方法找到的子网络，规模往往只有原网络的 10% 到 20%，却能达到甚至超过原网络的精度。

影响

彩票假说为理解神经网络的组成和训练提供了一个全新的视角，引发了大量后续研究，包括如何在训练早期就找到中奖彩票，以及在大模型上是否依然成立等。它也推动了稀疏训练和模型压缩方向的发展。