树(ID3,C4.5,CART,信息增益,信息增益比,基尼指数)

ID3

离散特征(标称型数据)、贪心算法、信息增益、特征所有取值切分(非二分)

缺点:有偏向问题,过拟合,只能离散型数据


C4.5

离散/连续特征(对连续属性扫描排序,设定阈值,二分样本)、信息增益比(引入分裂信息(Split information)的项来惩罚取值较多的Feature)、可剪枝(合并叶节点)、可处理缺失值(可参考缺失值处理)



CART:

分类回归树、二元切分、节点分裂可用各种


回归树:

每个节点有个预测值(下属点所有值平均值),依据最小化均方误差寻找最优特征



提升树

以残差(真实值-预测值)为样本拟合回归树,提升树预测值等于所有树累加和。

寻找分割点的标准:最小化均方差


GBDT梯度提升决策树

用一阶导数拟合残差


猜你喜欢

转载自blog.csdn.net/weixin_41819299/article/details/81005122