机器学习_02_决策树

决策树也是一种基础的机器学习模型

比如预测今天小明是否出去打球, 那么我们知道一些特征, 通过对特征的划分,我们可以做出一颗树, 就是决策树, 其实决策树在管理学也用的很多, 主要是对每种情况给出一个概率,然后判断情况的优劣, 这样我们可以通过这棵树来判断当前的情况

• 如何判断哪个特征进行划分呢, 我们用熵来划分,通过信息增益我们可以选出最优的特征来进行划分.
  
  
• 熵是不确定性的度量, 熵越大, 不确定性越大, 否则越小
• ID3算法

1. 对当前的样本集合, 计算所有的信息增益
2. 选择信息增益最大的属性作为测试属性
3. 不断地往下分, 知道到达算法停止条件

• 避免过拟合
  没必要分裂的不要分裂
  剪枝
• 不是对信息增益求差值, 而是求比例大小
  
• 其他解决过拟合的算法
  
• 决策树的优劣
  
• 决策树的集成算法
  主要有三种
  一种是Bagging , 对样本进行选择 , 构建不同的投票箱, 然后进行判断
  
  第二种是 Random Forest, 先对样本进行选择, 然后再随机挑选特征进行选择
  
  第三种是 Boosting , 通过对样本进行更新, 然后在投票
  
• Boost 算法
• AdaBoost
  
  
  
  
  
  
• GBDT
  
  
• XGBoost