写给小白的机器学习之决策树算法详解（附实战源码）

这里是实战源码，里面算法参数解释和数据可视化详解

GitHub慢的话看码云

具体ppt也已上传至csdn和GitHub
可以做分类树和回归树

现在是一个多分类任务

PPT讲解

• 强壮性是对若有缺失值等其他情况，该模型依然能够对其进行准确预测
• 可解释性是对其可视化的要求，比如决策树可以画出树模型以及节点的判断依据，而像高维的svm就很难可视化
  
  可分类可回归
  

最关键的是决策树怎么构造，所以我们要做一种衡量标准，按照这个标准去构造


就像物理上的熵一样，对其混乱度的度量，信息熵是对某一信息不确定性的度量


$log_2 X$ 2或π是随意取的，现在计算的熵是在这个系统内四个特征的熵，只要底数相等就行，反正是比较大小，具体多少我们用不到，底数不同只是其最终得到的熵的单位不同，

$log_2 X$ 2是随意取的，现在计算的熵是在这个系统内四个特征的熵，只要底数相等就行，反正是比较大小，具体多少我们用不到

ID3算法问题是： 以上面数据为例，若每天都为一个编号或者每天都为一个人的名字，这样编号或者名字的熵值为0（因为只有1类是个确定值），信息增益也是最大的，但编号和名字对我们最后的预测并不起任何作用，而且使树的深度很小
信息增益率是信息增益/自身熵值
CART和是另一种计算方法，其原理和ID3差不多



一般不是特别深的树，可以画出树的结构，然后根据树结构来进行剪枝

通过参考别人的课件（朋友给的，具体作者我也不清楚，侵权必删），自己又删改添加了很多内容，自己应该能看懂。