基于池的采样是什么？从未标注数据池里挑最值得标注的样本

基于池的采样（Pool-based Sampling）是一种流行的主动学习方法，它的核心是挑选出信息最丰富的样本来进行标注。具体做法是：先准备一个由大量未标注数据组成的数据池，由模型从中选出信息量最大的样本，交给人工进行标注；用这些新标注的样本重新训练模型；然后重复这个过程。

先说主动学习

训练一个好的监督学习模型，需要大量带标签的数据。但在很多领域，获取未标注的数据很容易，给数据打标签却很昂贵：标注医学影像需要专业的医生，标注法律文书需要律师，标注语音需要逐字转写，都要花大量的时间和金钱。传统的做法是随机挑选一批数据去标注，但随机挑选的数据中，有很多是模型已经能轻松判断的“简单”样本，标注它们对提升模型帮助不大，等于浪费了标注预算。

主动学习的思路是：让模型自己“提问”，主动挑选它最需要学习的样本去标注。就像一个聪明的学生，不会把所有习题都做一遍，而是专门去请教自己最不懂的那些题目。这样，用更少的标注数据，就能训练出同样好甚至更好的模型。

基于池的采样怎么工作

基于池的采样是主动学习中最常用的一种场景。流程是这样的：先用少量已标注的数据训练一个初始的模型；用这个模型对数据池中所有未标注的样本进行评估，按照某种标准，比如模型对这个样本有多“拿不准”，给每个样本打分；挑出分数最高的一批样本，交给人工标注；把新标注的样本加入训练集，重新训练模型；重复以上步骤，直到模型的效果达到要求，或者标注的预算用完。

与之相对的还有“流式采样”：数据一个接一个地到来，模型需要对每个样本当场决定是否请求标注，适合数据持续产生、无法全部保存的场景。基于池的采样因为能同时看到整个数据池，可以更全局地挑选出最有价值的样本，通常效果更好。

怎么判断哪个样本最有价值

不确定性采样：最常用的策略，选择模型最拿不准的样本，比如模型预测为正类的概率接近 50%，或者对几个类别的预测概率都差不多。委员会查询：训练多个模型，选择它们意见分歧最大的样本。预期模型变化：选择标注后最能改变模型的样本。还有兼顾代表性和多样性的策略，避免挑出的样本过于集中在某一种类型，或者挑出的都是没有代表性的异常值。

主动学习在医学影像、自动驾驶数据标注、文本分类等标注成本高的领域有广泛的应用。在大模型时代，类似的思想也被用于挑选最有价值的微调数据，以及决定哪些模型输出最值得送去人工审核。