TreeSynth 是什么？像决策树一样划分空间来合成多样数据

TreeSynth 是一种用大模型从零开始合成多样化训练数据的方法，由香港大学和香港中文大学的研究人员在 2025 年 3 月提出，论文标题是《TreeSynth：通过树引导的子空间划分从零合成多样数据》。

问题：合成数据越多越雷同

定制一个模型需要高质量、多样化的数据集，但获取这样的数据既费时又费力。大语言模型在数据合成上潜力巨大，可以按需批量生成训练样本。论文指出，现有方法受限于种子数据少、模型自身的偏好，以及提示词变化不够，结果是生成的数据多样性有限，而且随着数据规模扩大，分布越来越偏。比如让模型生成一万道数学题，很可能大量集中在模型“习惯”出的几类题型上，而其他题型很少。

TreeSynth 的思路

TreeSynth 受决策树的启发。它构建一棵“空间划分树”：把某个任务的完整数据空间看作根节点，然后递归地划分。每次划分时，先由模型确定一个划分维度（比如数学题可以按“学科分支”“难度”“题型”“应用场景”来分），再沿这个维度把当前空间分成若干个子空间。这些子空间满足两个性质：互斥，彼此不重叠；穷尽，合起来覆盖整个父空间。如此不断细分，直到得到足够细的“原子子空间”，也就是叶节点。

最后，在每个叶节点所代表的原子子空间内分别合成数据。因为子空间互不重叠，生成的数据不容易重复；因为子空间合起来覆盖了整个空间，数据也不容易遗漏某些区域，从而保证了整体的多样性和均衡的分布。

效果

论文报告，TreeSynth 生成的数据在多样性上明显优于人工设计的数据集和其他合成方法，用这些数据训练的模型在多个下游任务上表现更好，并且随着数据规模扩大，效果能持续提升。对于需要为特定任务大规模生成训练数据的团队，这是一个系统化提升数据多样性的实用方法。