JEST 是什么？DeepMind 成批挑选训练数据来加速多模态学习

JEST（Multimodal Contrastive Learning with Joint Example Selection）是一种通过挑选训练数据来加速多模态模型训练的算法，由谷歌 DeepMind 研究团队在 2024 年提出，论文标题是《通过联合示例选择进行数据筛选，进一步加速多模态学习》。

背景：数据质量决定训练效率

训练像 CLIP 这样的图文多模态模型，需要从互联网上收集的海量图文对数据。但这些数据质量参差不齐：有的图文完全不匹配，有的过于简单、模型早就学会了，有的则包含很多有价值的信息。如果能优先用那些最有学习价值的数据来训练，就能用更少的计算达到同样的效果。以往的数据筛选方法，通常是对每个样本单独打分，挑出分数高的样本。

JEST 的关键想法：成批地挑

JEST 的创新在于，它不是逐个地挑选样本，而是“联合”地挑选一整批数据。原因在于多模态对比学习的特点：模型训练时，是在一批数据内部进行比较，让匹配的图文对靠近、不匹配的互相远离。一批数据作为一个整体有多大的学习价值，不仅取决于每个样本本身，还取决于样本之间的关系：比如一批里有一些容易混淆的相似样本，模型就必须学会更细致地区分它们，这样的批次往往更有价值。所以，单独地看每个样本，不如把一批样本作为整体来评估。

怎么判断哪些数据有价值

JEST 用“可学习性”作为评判标准，它结合了两个模型的意见：一个是正在训练的学习者模型，一个是在少量高质量精选数据上预训练好的小型参考模型。可学习性高的数据，是那些学习者模型目前还觉得难（损失高），但参考模型觉得容易（损失低）的数据：这说明这些数据是有意义、可以学会的，而学习者还没学会，正是最值得学的。而两个模型都觉得难的数据，很可能是噪声；两个模型都觉得容易的数据，学习者已经掌握了。JEST 先从一个大的数据池中，按照可学习性挑选出一个有价值的子批次。

效果

论文报告，JEST 在达到同等性能时，所需的训练迭代次数最多减少到约十三分之一，总计算量最多减少到约十分之一，在多个基准上达到了当时最好的水平。这项工作说明，聪明地挑选数据，可能比单纯堆砌数据和算力更有效，一个小的、高质量的参考数据集，可以引导大规模数据的高效利用。