推荐系统的排序算法-树模型
主要包括决策树、随机森林(RF)、GBDT、GBDT+LR和深度森林。
树模型的优点是可以通过有监督的方式进行特征的自动交叉和选择，也是集成学习中的常用方法或组成部分，树模型在工业界常用的方法有GBDT+LR和Xgboost。
1. 决策树
1.1 决策树算法
决策树是随机森林和GBDT等集成学习模型的基础。
1.1.1决策树模型
决策树由节点和有向边组成。节点分为内部节点和叶子节点，内部节点表示一个特征或属性，叶结点表示一个类。使用决策树进行决策的过程就是，从根节点出发，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶结点，将叶结点存放的类别作为决策结果。
下图是一颗用户是否购买计算机的决策树，年龄、学生、信誉表示特征，是否表示类别。
决策树学习的本质是从训练数据集上归纳出一组分类规则，通常采用启发式的方法，即局部最优。其具体做法是，每次选择特征时，都选择当前最优的那个特征作为划分规则，即局部最优的特征。决策树学习通常分为3个步骤：特征选择、决策树的生成和决策树的剪枝。