迁移学习是什么？把在一个任务上学到的本事用到另一个任务

迁移学习（Transfer Learning）是一种机器学习方法，它把在一个任务或一个领域上学到的知识，应用到另一个相关的任务或领域上，从而让新任务的学习更快、更好，尤其是在新任务的数据很少的时候。

人类的“举一反三”

人类非常擅长迁移学习：会骑自行车的人学骑摩托车会更快；学过一门外语的人，学第二门外语往往更容易；会弹钢琴的人学习其他乐器也有优势。我们不会每学一样新东西都从零开始，而是会利用已有的知识和技能。传统的机器学习则不同：每个任务都要单独收集大量的数据、从头训练一个模型，即使两个任务非常相似。迁移学习就是要让机器也具备这种举一反三的能力。

为什么迁移学习有效

以图像识别为例：一个在上百万张各种图片上训练过的神经网络，它前面的层学会了识别边缘、纹理、颜色、形状这些通用的视觉特征，这些特征对几乎所有的图像任务都有用。如果现在要做一个识别某种皮肤病的模型，只有几千张医学图片，从头训练一个模型很难学好；但如果从那个已经训练好的网络出发，它已经掌握了“怎么看图”的基本功，只需要在少量的医学图片上稍加调整，就能取得好得多的效果。

常见的做法

特征提取：把预训练好的模型当作一个固定的特征提取器，去掉它最后的分类层，用它来提取新数据的特征，只在这些特征上训练一个新的简单分类器。微调：在预训练模型的基础上，用新任务的数据继续训练，调整模型的全部或部分参数。通常会使用较小的学习率，并且可以冻结前面几层的参数，只训练后面几层，因为前面几层学到的是更通用的特征。领域适应：当源领域和目标领域的数据分布不同时，比如用晴天的道路图片训练的模型要用在雨天，研究如何减小两个领域之间的差异。

预训练加微调：今天 AI 的基本范式

迁移学习的思想在今天的人工智能中无处不在。在计算机视觉中，在 ImageNet 等大型数据集上预训练、再针对具体任务进行微调，从 2014 年前后起成为了标准的做法。在自然语言处理中，2018 年的 ELMo、ULMFiT、BERT 和 GPT 等工作证明：在海量文本上预训练一个语言模型，再针对具体的任务进行微调，可以在几乎所有的任务上取得大幅的提升。如今的大语言模型把这一思想推向了极致：一个在海量数据上预训练的基础模型，可以通过微调，甚至只需通过提示词，就能完成各种各样的任务。参数高效的微调方法，比如 LoRA，只需要训练很少一部分参数就能让大模型适应新的任务，进一步降低了迁移的成本。

需要注意的问题

迁移并不总是有益的：如果源任务和目标任务的差别太大，迁移过来的知识可能反而起到干扰作用，降低效果，这叫负迁移。另外，在微调时，模型可能会忘记之前学到的通用能力，这叫灾难性遗忘，需要通过控制学习率、混合原有的数据等方法来缓解。