一、决策树
1、概念
2、构造决策树的思路流程
算法名：Generate_decisione_tree
D:表示所有数据的集合
attribute_list,代表所有数据中属性的集合
Attribute_selection_method: 表示通过某个方法，得到进行分类的最适合的属性
3、如何实现Attribute_selection_method
(1)使用信息增益的ID3算法 (2)使用信息增益率的C4.5算法
ID3算法：
Info(D)表示分类整个D所需要的平均信息，求 Info(D)主要是注意求pi的值。
若将D按照属性A划分成D1，D2,D3…..DN，按照这样划分之后，此时Info(D)可以表达为如下公式:
红色划线部分的计算应代入会公式8.1
至此，有了分类前和分类后的公式，将两者进行减法，就可以得到信息增益Gain(A)
进行简单的练习:
根据 选择 的 age作为分裂点，形成决策树 如下:
C4.5算法
信息增益的缺点：
信息增益率：
二、随机森林
随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。
在建立每一棵决策树的过程中，有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M个feature中，选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。