决策树算法
朴素贝叶斯要求特征相互独立，只能处理文本这种，更好的分类要用到决策树，决策树后面还有更更好的随机森林属于集成学习 可以解决很多的事情
文章目录
学完决策树算法，您应该掌握
- 掌握决策树实现过程
- 知道信息熵的公式以及作用
- 知道信息增益的作用
- 知道信息增益率的作用
- 知道基尼指数则作用
- 知道id3,c4.5，cart算法的区别
- 了解cart剪枝的作用
- 应用DecisionTreeClassifier实现决策树分类
一、决策树算法简介
决策树+集成学习 可以解决很多的事情
决策树适合处理金融数据（结构化数据如用户信息历史记录）
用户评分、风险用户的识别
决策树可以解决分类、回归都可以做，模型复杂度大，容易过拟合。会用到分类树和回归树
决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法
决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树。本质是一颗由多个判断节点组成的树
怎么理解这句话？通过一个对话例子
为什么先问年龄？因为年龄女生觉得最重要
年龄这个特征对目标值最重要
左子树里面，长相最重要
根节点：寻找对目标值影响最重要的特征和特征的划分方式
想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！
上面案例是女生通过定性的主观意识，把年龄放到最上面，那么如果需要对这一过程进行量化，该如何处理呢？
此时需要用到信息论中的知识：信息熵，信息增益
