CART树为什么使用GINI系数

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/bitcarmanlee/article/details/88808873

1.ID3树与CART树的区别

ID3算法中，选择的是信息增益来进行特征选择，信息增益大的特征优先选择。
而在C4.5中，选择的是信息增益比来选择特征，以减少信息增益容易选择特征值多的特征的缺点。
但是无论是ID3还是C4.5，都是基于熵的模型，里面会涉及到大量的对数运算，能不能简化一下？

假设有数据集D，定义GINI指数
$GINI*(D) = \sum_{i=1}^k p_k * (1 - p_k) = 1 - \sum_{i=1}^k p_k ^ 2$

2.简单理解

从公式中可以看出来，基尼指数的意义是从数据集D中随机抽取两个样本类别标识不一致的概率。基尼指数越小，数据集的纯度越高。

相比于信息增益，信息增益比等作为特征选择方法，基尼指数省略了对数计算，运算量比较小，也比较容易理解，所以CART树选择使用基尼系数用来做特征选择。