一、决策树（decision tree）
| 损失函数 |
正则化的极大似然函数 |
| 学习策略 |
以损失函数为目标函数的最小化 |
| 学习算法 |
三步过程：特征选择、决策树的生成、决策树的剪枝 |
| 常用算法 |
ID3、C4.5、CART |
| 特征选择 |
选取具有更好分类能力的特征来划分特征空间 |
| 特征选择的准则：信息增益，或信息增益比 |
根据一些特点进行分类，每个结点提一个问题，通过判断，将数据分为两类，再继续提问。这些数据是根据已有数据学习出来的，再投入到新数据的时候，就可以将这棵树上的问题，将数据划分到合适的叶子上。
- 根节点（root node），它没有入边，但又零条或多条出边。
- 内部结点（internal node），恰有一条入边，和两条或多条出边。
- 叶节点（left node）或终结点（terminal node），恰有一条入边，没有出边。
决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。
决策树的特点：
- 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
- 缺点：可能会产生过度匹配的问题
- 适用数据类型：数值型和标称型
