增量学习是什么？来了新数据就接着学，不必从头训练

增量学习（Incremental Learning）是指当新的数据或新的任务不断到来时，模型能够在已有的基础上继续学习、更新自己，而不需要把全部的历史数据拿出来从头重新训练。与之相关的说法还有持续学习、终身学习，它们的侧重点略有不同，但核心问题是一致的。

为什么需要增量学习

传统的机器学习通常假设所有的训练数据一次性地准备好，训练一次就结束。但在很多实际的场景中，数据是源源不断地到来的：电商平台每天都有新的用户行为，推荐模型需要跟上用户兴趣的变化；新闻分类系统会遇到新的话题；人脸识别系统需要不断地加入新员工；机器人在新的环境中需要学习新的技能。如果每来一批新数据，就把所有的历史数据和新数据合在一起从头训练，代价太高，有时历史数据因为存储、隐私等原因已经无法再获取。增量学习希望像人一样，在已有知识的基础上不断地学习新的东西。

核心难题：灾难性遗忘

增量学习最大的挑战是“灾难性遗忘”：神经网络在学习新的任务或新的数据时，会大幅地调整参数，结果把之前学会的知识“覆盖”掉，在旧任务上的表现急剧下降。这一现象由 Michael McCloskey 和 Neal Cohen 在 1989 年等研究中揭示。比如一个模型先学会识别猫和狗，再只用鸟和鱼的图片训练它，它可能就再也认不出猫和狗了。人类的大脑则很少出现这种情况。增量学习需要在“稳定性”和“可塑性”之间取得平衡：既要能学习新的知识，又不能忘记旧的知识，这被称为“稳定性-可塑性困境”。

常见的方法

回放：保留一小部分旧的数据样本，或者用生成模型生成类似旧数据的样本，在学习新数据时把它们混合在一起训练，让模型不断地“复习”旧知识。iCaRL 等方法使用了这一思路。正则化：在学习新任务时，限制那些对旧任务重要的参数发生太大的变化。DeepMind 的 James Kirkpatrick 等人在 2017 年提出的弹性权重巩固方法（EWC）是代表：它估计每个参数对旧任务的重要程度，重要的参数改动时受到更大的惩罚，这一思路受到了神经科学中突触巩固机制的启发。知识蒸馏：在学习新任务时，让新模型在旧数据或新数据上的输出尽量与旧模型保持一致，从而保留旧模型的知识，比如 Learning without Forgetting 方法。动态结构：为新的任务分配新的参数或网络分支，旧的参数保持不变或部分冻结，从结构上避免干扰，代价是模型会不断变大。

几种不同的情景

增量学习通常分为几种情景：任务增量，每次学习一个新任务，测试时知道是哪个任务；类别增量，不断地加入新的类别，测试时需要在所有学过的类别中进行区分，这是最困难的情景；领域增量，任务不变，但数据的分布发生变化。在线学习可以看作增量学习的一种特例：数据一条一条地到来，模型每看到一条就更新一次。很多传统的算法，比如朴素贝叶斯、随机梯度下降训练的线性模型，天然就支持增量更新。

在大模型时代

大语言模型的知识有截止日期，而重新预训练的代价极高，因此如何让大模型持续地吸收新知识、又不遗忘原有的能力，成为一个重要的研究方向。目前常用的做法包括持续预训练时混合旧的数据、参数高效的微调，以及用检索增强生成从外部获取新知识而不改变模型参数。