二次学习是什么？先训练一个强模型，再用它来教另一个模型

二次学习（Twice-learning）是一种在机器学习中兼顾模型准确性和可理解性的思路：先训练一个泛化能力很强、但难以被人理解的模型，比如神经网络的集成；然后用这个模型来生成或者重新标注训练数据，再用这些数据训练一个容易理解的模型，比如决策树或一组规则。这样得到的模型既保持了较好的准确性，又能够被人读懂。这一思路由周志华等人在 21 世纪初的研究中提出和推广。

它要解决的矛盾

在机器学习中，模型的准确性和可理解性之间常常存在矛盾。神经网络、集成学习等方法往往具有很强的泛化能力，在新的数据上预测得很准，但它们的内部结构非常复杂，人们很难理解它们为什么会做出某个判断，这就是所谓的“黑箱”问题。而决策树、规则集等方法得到的模型简单直观，可以直接转换成“如果……那么……”的规则，专家可以检查它们是否合理，但它们的准确性往往不如复杂的模型。在医疗诊断、金融审批等领域，人们既希望模型足够准确，又需要能够解释模型的决策理由，这就需要在两者之间找到一种平衡。

二次学习怎么做

第一次学习：用原始的训练数据训练一个强大的模型，比如一个由多个神经网络组成的集成。这个模型的泛化能力很强，但难以理解。第二次学习：用第一次学到的强大模型作为“老师”，来为第二次学习提供数据。具体的做法包括：用强大的模型对原始训练样本重新进行标注，用它的预测代替原始的标签，这样可以在一定程度上纠正原始数据中的噪声；还可以在样本空间中随机地生成大量新的样本，用强大的模型为它们打上标签，从而得到一个比原始训练集大得多的数据集。然后，用这些数据训练一个容易理解的模型，比如用 C4.5 算法学习决策树，再把它转换成规则。

周志华和蒋远在 2003 年提出的 C4.5Rule-PANE 方法就是这样做的：先训练一个神经网络集成，再用它来生成和标注数据，然后用 C4.5Rule 算法从这些数据中学习规则。实验表明，这样学到的规则，比直接用原始数据学到的规则更加准确，同时保持了很好的可理解性。

为什么二次学习有效

原因主要有两个方面：一是强大的模型的预测比原始的标签更加平滑、噪声更少，相当于对数据进行了“提纯”；二是通过生成大量的新样本，为第二次学习提供了更充足的数据，让简单的模型能够更好地刻画决策边界的形状。可以说，强大的模型把它学到的知识，“传授”给了简单的模型。

与知识蒸馏的联系

二次学习的思想与后来在深度学习中广为人知的“知识蒸馏”有很多相通之处。2006 年，Cristian Buciluă 等人提出了“模型压缩”的方法，用一个大型的集成模型为大量数据打标签，再训练一个小的神经网络去模仿它。2015 年，杰弗里·辛顿等人提出了知识蒸馏：让一个小的“学生”模型去学习一个大的“教师”模型输出的概率分布，而不只是学习正确的类别，因为教师模型给出的概率中包含了类别之间相似程度的信息。如今，知识蒸馏被广泛用于压缩大模型：用大语言模型生成的回答和推理过程来训练更小的模型，让小模型也能获得接近大模型的能力。只是二次学习更强调可理解性，而知识蒸馏更强调模型的压缩和效率。