主动学习是什么？让模型自己挑出最值得标注的数据

主动学习（Active Learning）是机器学习中的一种方法，学习算法可以交互式地向用户或其他信息来源提出询问，请求为新的数据点打上标签。在主动学习中，算法会主动地从未标注的数据中，挑选出接下来最值得标注的一批样本。它背后的基本信念是：如果允许机器学习算法自己选择想要学习的数据，它就能用更少的标注数据达到更高的准确率。

为什么需要主动学习

在很多实际场景中，未标注的数据很容易获得，但给数据打标签却很昂贵：医学影像需要医生来标注，法律文书需要律师来判断，语音转写需要专人逐字记录。如果随机地挑选数据去标注，很多标注工作其实是浪费的：大量的样本简单、相似，模型早就能判断正确，再多标几个也帮助不大。主动学习要做的，就是把有限的标注预算花在刀刃上。

工作流程

主动学习通常是一个循环：先用少量已标注的数据训练一个初始模型；用这个模型去分析大量未标注的数据，按照某种策略挑选出最有价值的一批样本；把这批样本交给人工标注，标注者通常被称为“预言机”（oracle）；把新标注的数据加入训练集，重新训练模型；重复这个过程，直到模型达到满意的效果或标注预算用完。

怎么判断哪些样本“最有价值”

不确定性采样：最常用的策略，挑选模型最拿不准的样本。比如一个判断猫狗的模型，对某张图给出“51% 是猫、49% 是狗”，说明它很困惑，这类样本最值得请人来标注；而模型有 99% 把握的样本，再标注意义不大。委员会查询：训练多个不同的模型，挑选它们意见分歧最大的样本。预期模型变化：挑选那些一旦知道标签、会让模型发生最大改变的样本。多样性采样：挑选能代表数据整体分布、彼此差异大的样本，避免挑出的样本都扎堆在同一类，在实际中常与不确定性采样结合使用。

应用和注意事项

主动学习被广泛用于医学影像分析、文本分类、自动驾驶数据的筛选、语音识别、药物发现等标注成本高的领域，是人机回圈的一种典型形式。需要注意的是，主动学习挑选出的样本分布与真实的数据分布不同，可能带来偏差；而且在有些情况下，精心设计的挑选策略并不比随机挑选好多少，需要根据具体任务进行验证。