单变量决策树是什么？每个节点只看一个特征来分叉

单变量决策树（Univariate Decision Tree）是指在树的每一个内部节点上，只根据一个特征来进行判断和划分的决策树。我们平时最常见的决策树，比如 ID3、C4.5 和 CART 算法生成的决策树，都属于单变量决策树。

它是什么样的

在单变量决策树中，每个节点上的判断条件都只涉及一个特征，比如“年龄是否小于 30 岁”“收入是否大于一万元”“颜色是否为红色”。从根节点开始，根据样本在这个特征上的取值，走向不同的分支；到了下一个节点，再根据另一个（也可能是同一个）特征进行判断，以此类推，一直走到叶子节点，得到最终的结果。这样的判断方式非常直观，就像我们日常生活中做决定时问自己的一连串问题。

决策边界的特点

单变量决策树有一个明显的几何特点：它的决策边界是由与坐标轴平行的线段组成的。可以想象一个以两个特征为横纵坐标的平面：每次根据一个特征进行划分，相当于在平面上画一条横线或者竖线，把区域一分为二。经过多次划分之后，整个平面被切分成了许多个矩形的小区域，每个区域对应一个预测的类别。所以，单变量决策树的决策边界看起来就像是一级一级的台阶。

当真实的分类边界恰好与坐标轴平行时，单变量决策树能非常高效地找到它。但如果真实的分类边界是一条斜线，比如“当收入减去两倍的负债大于某个值时批准贷款”，单变量决策树就只能用许多级小台阶去逼近这条斜线，需要进行很多次的划分，生成一棵非常庞大的树。这不仅让树变得复杂、难以理解，还容易导致过拟合，因为每一级台阶都只由很少的样本决定。

多变量决策树

为了解决这个问题，研究者提出了多变量决策树，也叫斜决策树。在多变量决策树的每个节点上，判断条件不再只涉及一个特征，而是多个特征的线性组合，比如“0.8 乘以收入减去 1.5 乘以负债是否大于 2”。这样，每个节点就相当于画了一条任意方向的斜线，能够用少得多的划分来逼近斜向的边界，得到的树通常更小。代表性的方法有 OC1 等。不过，多变量决策树在每个节点上都需要寻找最好的线性组合，计算量要大得多，而且每个节点上的判断条件变得复杂，失去了单变量决策树简单直观、容易解释的优点。

单变量决策树的优点

尽管有上述的局限，单变量决策树仍然是使用最广泛的决策树形式，原因在于它的诸多优点：每个判断条件都非常简单，整棵树容易理解和解释，可以直接转换成一组“如果……那么……”的规则；训练速度快；不需要对特征进行标准化，能同时处理数值型和类别型的特征；在一定程度上能自动地进行特征选择，没有被用到的特征说明对预测帮助不大。而且，单变量决策树决策边界的局限，可以通过集成多棵树来弥补：随机森林和梯度提升树把大量的单变量决策树组合起来，能够逼近非常复杂的边界，在表格数据上取得了非常好的效果。