分裂前后增益计算方法

1.ID3->信息增益
2.C4.5->信息增益比
3.CART->采用Gini系数
4.XG Boost-> $\tilde{L}^*=-\frac{1}{2}\sum_{j=1}^{T}\frac{G_{j}^2}{H_j+\lambda}+\gamma T$。
其中， $\frac{G_j^2}{H_j+\lambda}$衡量了每个叶子节点对总体损失的贡献。我们希望损失越小越好，则标红部分的值越大越好。

因此，对一个叶子节点进行分裂，分裂前后的增益定义为： $Gain=\frac{G_L^2}{H_L+\lambda}+\frac{G_R^2}{H_R+\lambda}-\frac{G_L+G_R}{H_L+H_R+\lambda}-\gamma$

Gain的值越大，分裂后L的减小越多。所以，当对一个叶节点分割时，计算所有候选（feature，value）对应的gain，选取gain最大的进行分割。

树节点分裂算法：
1.精确算法：遍历所有特征的所有可能的分割点，计算gain值，选取值最大的（feature，value）去分割。

2.近似算法：
对于每个特征，只考察分位点，减少计算复杂度。
Global：学习每棵树前，提出候选切分点
Local：每次分裂前，重新提出候选切分点

三分位数：