决策树一CART算法（第二部分）

CART分类树算法

CART分类树算法解读

输入：数据集 D，特征集 A，停止条件阈值 $\epsilon$

输出：CART分类决策树

步骤：

从根节点出发，进行操作，构建操作二叉树
计算现有特征下对数据集基尼指数，选择最优特征。

——在特征Ag下，对其可能取的每个值g,根据样本点对Ag=g的测试为“是”我“否”，
将D分制成D1和D2两部分，计算Ag=g时的基尼指数。
——选择基尼指数最小的那个值作为该特征下的最优切分点。
——计算每个特征下的最优切分点，并比较在最优切分下的每个特征的基尼指数，选择基尼指数最小的那个特征，即最优特征。
根据最优特征和最优切分点，生成两个子节点，并将数据集分配到对应的子节点中
```
 按照最优切分点来分成二叉树
```
分别对两个子节点继续递归调用上面的步骤，直到满足条件，即生成CART分类决策树。

这里条件一般是阈值，当基尼指数小于这个阈值时，
样本基本属于同一类，或者就是没有更多的特征了，则CART分类决策树的生成

CART分类树真题讲解**

训练集D ，「特征集」分别是年龄 $A_1$ ，是否有工作 $A_2$ ，是否有自己的房子 $A_3$ ，信贷情况 $A_4$ 。

类别为： $Y_1$ =是， $Y_2=否$

在这里插入图片描述
用基尼指数的最小化来选出最优特征」

对于特征A条件下，样本集D的基尼指数为：
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$
第一种特征：年龄

三个特征值：青年 $A_{11}$ 、中年 $A_{12}$ 和老年 $A_{13}$

CART算法是二叉树，所以数据集分为两类,有以下几种情况

以青年和非青年分类
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{2}{5} \times \frac{3}{5}=\frac{12}{25}$
权重 $W_1=\frac{5}{15}$
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{3}{10} \times \frac{7}{10}=\frac{42}{100}$
权重 $W_2=\frac{10}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{11}\right)=\frac{5}{15} \times \frac{12}{25}+\frac{10}{15} \times \frac{42}{100}=0.44$
以中年和非中年分类
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{2}{5} \times \frac{3}{5}=\frac{12}{25}$
权重 $D_1=\frac{5}{15}$
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{4}{10} \times \frac{6}{10}=\frac{48}{100}$
权重 $D_2=\frac{10}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{12}\right)=\frac{5}{15} \times \frac{12}{25}+\frac{10}{15} \times \frac{48}{100}=0.48$
以老年和非老年分类

$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{1}{5} \times \frac{4}{5}=\frac{8}{25}$

权重 $D_1=\frac{5}{15}$
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{5}{10} \times \frac{5}{10}=\frac{1}{2}$
权重 $D_2=\frac{10}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{13}\right)=\frac{5}{15} \times \frac{8}{25}+\frac{10}{15} \times \frac{1}{2}=0.44$

			**由此可以看出青年和老年基尼指数最小0.44，都可以作为最优划分点**

第二种特征：工作

2个特征值：有工作 $A_{21}$ ，无工作 $A_{22}$

$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{0}{5} \times \frac{5}{5}=0$
权重 $D_1=\frac{5}{15}$
$\operatorname{Gini}\left(D_{2}\right)=2 \times \frac{6}{10} \times \frac{4}{10}=\frac{48}{100}$
权重 $D_2=\frac{10}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{2}\right)=\frac{5}{15} \times 0+\frac{10}{15} \times \frac{48}{100}=0.32$

第三种特征：房子

2个特征值：有房子 $A_{31}$ ，无房子 $A_{32}$

$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{0}{6} \times \frac{6}{6}=0$
权重 $D_1=\frac{5}{15}$
$\operatorname{Gini}\left(D_{2}\right)=2 \times \frac{3}{9} \times \frac{6}{9}=\frac{72}{81}$
权重 $D_2=\frac{10}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{3}\right)=\frac{6}{15} \times 0+\frac{9}{15} \times \frac{72}{81}=0.27$

第四种特征：信贷情况

三个特征值：非常好 $A_{41}$ 、好 $A_{42}$ 和一般 $A_{43}$

以非常好和并不非常好分类
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{0}{4} \times \frac{4}{4}=0$
权重 $W_1=\frac{4}{15}$
$\operatorname{Gini}\left(D_{2}\right)=2 \times \frac{6}{11} \times \frac{5}{11}=\frac{60}{121}$
权重 $W_2=\frac{11}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{41}\right)=\frac{4}{15} \times 0+\frac{11}{15} \times \frac{60}{121}=0.36$
以好和非好分类
$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{2}{6} \times \frac{4}{6}=\frac{16}{36}$
权重 $D_1=\frac{6}{15}$
$\operatorname{Gini}\left(D_{2}\right)=2 \times \frac{4}{9} \times \frac{5}{9}=\frac{40}{81}$
权重 $D_2=\frac{9}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{42}\right)=\frac{6}{15} \times \frac{16}{36}+\frac{9}{15} \times \frac{40}{81}=0.47$
以一般和非一般分类

$\operatorname{Gini}\left(D_{1}\right)=2 \times \frac{4}{5} \times \frac{1}{5}=\frac{8}{25}$

权重 $D_1=\frac{5}{15}$
$\operatorname{Gini}\left(D_{2}\right)=2 \times \frac{2}{10} \times \frac{8}{10}=\frac{32}{100}$
权重 $D_2=\frac{10}{15}$
$\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)$

$\operatorname{Gini}\left(D, A_{43}\right)=\frac{5}{15} \times \frac{8}{25}+\frac{10}{15} \times \frac{32}{100}=0.32$

			**由此可以看出特征一般基尼指数最小0.32，能作为最优划分点**

通过四个特征值得基尼指数进行比较

特征值	对应的基尼指数
年龄	0.44
工作	0.32
房子	0.27
信贷情况	0.32

房子的基尼指数最小，所以作为最优特征绘制二叉树

选特征：同上，按年龄工作信贷情况划分

在无房子数据集内，以年龄特征分类

年龄	个数	不同意贷款	同意贷款
青年	4	3	1
中年	3	2	0
老年	2	1	2

在无房子数据集内，以工作特征分类

工作	个数	不同意贷款	同意贷款
有工作	3	0	3
无工作	6	6	0

在无房子数据集内，以信贷情况特征分类

信贷情况	个数	不同意贷款	同意贷款
非常好	1	0	1
好	4	2	2
一般	4	4	0

同理，可以由数据待选特征：很明显这里特征工作的基尼指数为：
$G(D,A_2)=\frac{3}{9}\times2\times \frac{0}{3}\times \frac{3}{3}+\frac{6}{9}\times2\times \frac{6}{6}\times \frac{0}{0}=0$
所以该节点选择有工作这一特征

剩下的节点以此类推，最后可以画出完整的分类树