目标：
分类概念：
分类的两个步骤和方法：
学习：
训练集包含两部分，即数据属性和类别标签（类标号属性）
属于监督学习
预测:
过拟合
检验集
决策树：
CLS（Concept Learning System）算法。
CLS算法是早期的决策树学习算法。它是许多决策树学习算法的基础。
CLS基本思想：
从一棵空决策树开始，选择某一属性（分类属性）作为测试属性。该测试属性对应决策树中的决策结点。根据该属性的值的不同，可将训练样本分成相应的子集，如果该子集为空，或该子集中的样本属于同一个类，则该子集为叶结点，否则该子集对应于决策树的内部结点，即测试结点，需要选择一个新的分类属性对该子集进行划分，直到所有的子集都为空或者属于同一类。
CLS缺点：
【采用不同的测试属性及其先后顺序将会生成不同的决策树】
衡量信息多少的物理量称为信息量
若概率很大，受信者事先已有所估计，则该消息信息量就很小；
若概率很小，受信者感觉很突然，该消息所含信息量就很大。
信源含有的信息量是信源发出的所有可能消息的平均不确定性，香农把信源所含有的信息量称为信息熵，是指每个符号所含信息量的统计平均值。对于一个随机事件X，其信息熵的定义为：
条件信息熵的计算，看PPT自己领会吧。【重点】
1,
2,
条件信息熵计算，自行百度吧【重点！】
下面的估计不会考:
1，
2，
3，
信息增益的计算以及测试属性的选择：【重点】
计算：
信息增益率：
基尼指数：
决策树剪枝：【重点】
【不整啦，还是看PPT老实复习吧】