元学习是什么？学会如何学习

元学习（Meta-Learning），通俗地说就是“学会如何学习”。普通的机器学习是从数据中学习完成某一个特定的任务；元学习则是从许多个不同的任务中学习，积累关于“如何学习”的经验，使得在遇到一个全新的任务时，只需要很少的数据、很少的训练，就能快速地学会。这一思想可以追溯到 Jürgen Schmidhuber 在 1987 年的毕业论文，以及 Sebastian Thrun 等人在 20 世纪 90 年代关于“学会学习”的研究。

人类擅长的能力

人类有很强的元学习能力：一个从没见过某种动物的孩子，只要看一两张它的照片，就能认出它来；一个已经会好几种编程语言的程序员，学习一门新的语言会快得多。这是因为我们在过去大量的学习经历中，积累了通用的学习方法和先验知识。而传统的深度学习模型通常需要成千上万个带标签的样本才能学会一个新的任务。元学习就是希望让机器也具备这种快速学习的能力。

任务的组织方式

元学习的训练数据不是一个个的样本，而是一个个的“任务”。以少样本图像分类为例：每个任务是区分 5 个类别，每个类别只给出 1 张或 5 张样例图片，叫作支持集，然后要求对同样这 5 个类别的新图片进行分类，叫作查询集。训练时，从大量的类别中随机地抽取许多个这样的小任务；测试时，用的是训练时从未见过的新类别组成的任务。模型的目标是：在每个小任务中，只看支持集中的少量样例，就能在查询集上分类得好。通过在大量这样的任务上训练，模型学会了如何从少量样例中快速地学习。

主要的方法

基于度量的方法：学习一个好的特征空间，在这个空间中，同一类的样本彼此靠近，于是新任务中只需要比较查询样本与各个样例之间的距离就能分类。代表有匹配网络（2016 年）和原型网络（Jake Snell 等人在 2017 年提出），后者为每个类别计算所有样例特征的平均值作为“原型”，再把查询样本分给最近的原型。基于优化的方法：学习一个好的初始参数，使得从这个初始点出发，只需要在新任务上用少量的数据做几步梯度下降，就能达到很好的效果。最有代表性的是 Chelsea Finn、Pieter Abbeel 和 Sergey Levine 在 2017 年提出的 MAML（模型无关的元学习）：它在训练时模拟“在每个任务上做几步更新”的过程，并优化初始参数，使得更新之后在各个任务上的表现都好。它的思路适用于各种用梯度下降训练的模型。基于模型的方法：设计带有记忆或快速更新机制的网络，让它在读入少量样例之后，直接在内部完成“学习”，比如记忆增强神经网络。此外，元学习的思想也被用于学习优化器、学习超参数、神经架构搜索等，让机器自动地学会更好的学习策略。

与大语言模型的联系

大语言模型展现出的“上下文学习”能力，被许多研究者视为一种元学习：只需在提示词中给出几个示例，不更新任何参数，模型就能理解并完成一个新的任务。在海量文本上的预训练，相当于让模型接触了无数种隐含的“任务”，从而学会了从上下文中快速学习。与此同时，“预训练加少量微调”的范式在很多少样本任务上也取得了出色的效果，一些研究发现，一个好的预训练特征表示，配上简单的分类器，就能与复杂的元学习方法相媲美。