切分变量是什么？决策树在每个节点上用来分叉的那个特征

切分变量（Splitting Variable）是决策树中的一个概念，指的是在树的某个节点上，被选中用来把样本划分成两部分或多部分的那个特征。它通常与切分点一起出现：切分变量决定“按哪个特征来分”，切分点决定“在这个特征的哪个值上分”。比如在“年龄是否小于 30 岁”这条规则中，“年龄”是切分变量，“30”是切分点。

决策树是怎么生长的

决策树从根节点开始，所有的训练样本都在这里。在每一个节点上，算法要决定如何把当前节点中的样本分开，让分出来的每一部分都尽可能“纯净”：对于分类问题，就是每一部分的样本尽量属于同一个类别；对于回归问题，就是每一部分的样本目标值尽量接近。分开之后，再在每个子节点上重复这个过程，直到满足停止的条件，比如节点中的样本已经足够纯净、样本数量太少，或者树已经达到了设定的最大深度。

如何选择切分变量和切分点

选择的方法是穷举和比较：对每一个特征，以及这个特征可能的每一个切分点，都尝试一下，计算用它来划分之后效果提升了多少，然后选择提升最大的那个组合。对于连续的数值特征，候选的切分点通常是把样本按这个特征排序后，相邻两个不同取值之间的中点。对于类别特征，则考虑把类别分成两组的不同方式。

衡量划分效果的标准有几种：信息增益，基于信息熵，衡量划分之后不确定性减少了多少，ID3 算法使用它；信息增益率，在信息增益的基础上进行修正，避免偏向取值很多的特征，C4.5 算法使用它；基尼系数，衡量从节点中随机抽取两个样本，它们属于不同类别的概率，CART 分类树使用它；对于回归问题，CART 回归树选择让划分后两部分的均方误差之和最小的切分变量和切分点。李航的《统计学习方法》中就是用“切分变量”和“切分点”这两个术语来描述最小二乘回归树的生成过程的。

切分变量与特征重要性

一个特征被选为切分变量的次数越多，并且每次带来的效果提升越大，通常说明它对预测越重要。随机森林、梯度提升树等基于树的模型，正是根据这一点来计算特征重要性的。不过需要注意，这种方式计算的重要性会偏向于那些取值较多的特征，因为它们有更多候选的切分点，更容易偶然地找到一个看起来不错的划分。

随机森林中的随机切分变量

在随机森林中，每个节点在选择切分变量时，并不是从所有的特征中挑选，而是先随机地选出一部分特征，再从这部分中挑出最好的切分变量。这样做让不同的树之间有更大的差异，避免所有的树都选择同样几个区分力最大的特征，从而提高整个森林的效果。极端随机树则更进一步，连切分点也是随机选取的。