机器学习实战笔记-决策树ID3

1、决策树
优点：数据缺失不敏感、可处理相关度不高的特征集合
缺点：易出现过度匹配
数值型和标称型
2、模型
输入：
dataset : (100,3) 样本数*特征
label : (100,1) 样本数
输出：树结构
保存树结构，输入待预测的样本，输出预测分类结果

3、建模步骤
选出划分特征：计算香农熵，选取最大
一次计算每个特征的香农熵，建立树。
结束条件：遍历完所有的特征，或者，每个分支下的所有实例都具有相同分类