终身学习是什么？让 AI 像人一样持续学习新东西

终身学习（Lifelong Learning），也常称为持续学习（Continual Learning），是指机器能够持续接收新的数据和经验，不断更新和改进自己的知识和模型。这种学习方式模仿了人类学习的特点：人在一生中不断学习，随着经验的积累，理解和解决问题的能力逐渐提高，学会骑自行车之后再学开车，并不会因此忘记怎么骑自行车。

为什么机器很难做到

目前主流的机器学习方式，通常是“一次性”的：收集好一批数据，训练一个模型，训练完成后模型就固定下来了。如果要让它学习新的东西，常见的做法是用新数据接着训练。但这会遇到一个严重的问题：灾难性遗忘。神经网络在学习新任务时，会调整原来的参数去适应新数据，而这些参数同时也承载着旧任务的知识，调整之后，旧的知识就被破坏了，模型可能学会了新任务，却把老任务忘得一干二净。另一种做法是把所有的新旧数据放在一起重新训练，但随着数据不断增加，这样做的成本越来越高，而且旧的数据有时因为隐私、存储等原因无法保留。

它需要平衡两件事

终身学习的核心挑战，被称为“稳定性与可塑性的两难”：模型既要足够稳定，保住已经学到的知识；又要足够灵活，能学会新的东西。过于稳定，就学不进新知识；过于灵活，就记不住旧知识。

主要方法

基于回放的方法：保存一小部分旧任务的数据，或者用生成模型生成类似旧数据的样本，在学习新任务时混合着一起训练，相当于学新课的同时“复习”旧课。基于正则化的方法：在学习新任务时，限制那些对旧任务重要的参数不要改变太多，比如弹性权重巩固（EWC）方法，会评估每个参数对旧任务的重要性，越重要的参数越难被改动。基于结构的方法：为新任务分配新的网络结构或参数，比如添加新的模块、新的专家，或者为每个任务使用不同的子网络，从结构上隔离新旧知识。

在大模型时代

对于大语言模型，终身学习同样重要：世界的知识在不断更新，模型需要持续学习新的信息，又不能每次都从头训练。知识编辑、检索增强生成、参数高效的持续微调、为智能体配备长期记忆等，都可以看作在大模型时代实现“持续学习”的不同途径。让 AI 真正像人一样在使用中不断成长，仍然是一个开放的研究难题。