决策树讲解和代码

决策树最关键的两个部分:1.面对一个实际的数据集,如何构建出一棵树 2.构建树的过程中,树分裂节点时,如何选择出最优的属性作为分裂节点。

算法就是为了选出最优的属性。为什么要选择最优的属性,是因为不同的属性排列组合导致的算法能力的好坏不一样。

决策树包含:根节点(样本全集)、叶节点(决策结果)、内部节点(属性测试)

划分选择的决策树算法有:ID3(信息增益)、C4.5(增益率)、CART(基尼指数)

算法形式如下


输入:训练集D,属性集A

过程:函数TreeGenerate(D,A)

生成节点node;

1.如果D中样本属于同一类别C,则将node标记为C类叶节点

2.如果属性集为空或者D中样本在所有属性上取值相同,则将node标记为叶节点

3.从A中选择最优划分属性a*,采用增益率为标准找出最优划分属性,a* = arg max Gain_ratio(D,a)

为node生成一个分支;令Dv表示D在a*上的样本子集;如果Dv为空,将分支节点标记为叶节点,其类别标记为D中样本最多的类

输出:以node为根节点的一颗决策树


猜你喜欢

转载自blog.csdn.net/qq_27931977/article/details/82983632
今日推荐