1、Bagging和Boosting的区别
- 样本选择：Bagging算法是有放回的随机采样;Boosting算法是每一轮训练集不变
- 样例权重:Bagging使用随机抽样，样例的权重;Boosting根据错误率不断的调整样例的权重值， 错误率越大则权重越大
- 预测函数:Bagging所有预测模型的权重相等;Boosting算法对于误差小的分类器具有更大的权重
- 并行计算:Bagging算法可以并行生成各个基模型;Boosting理论上只能顺序生产，因为后一个模 型需要前一个模型的结果
- Bagging是减少模型的variance(方差);Boosting是减少模型的Bias(偏度)， Bagging里每个分类模型都是强分类器，因为降低的是方差，方差过高需要降低是过拟合; Boosting里每个分类模型都是弱分类器，因为降低的是偏度，偏度过高是欠拟合
2、RF、Adabost、GBDT模型优缺点
RF
- 优点：
- 训练可以并行化，对于大规模样本的训练具有速度的优势
- 由于进行随机选择决策树划分特征列表，这样在样本维度比较高的时候，仍然具有比较高 的训练性能
- 给出各个特征的重要性列表
- 于存在随机抽样，训练出来的模型方差小，泛化能力强
- RF实现简单
- 缺点：
- 在某些噪音比较大的特征上，RF模型容易陷入过拟合
- 取值比较多的划分特征对RF的决策会产生更大的影响，从而有可能影响模型的效果
AdaBoost
- 优点：
- 可以处理连续值和离散值
- 模型的鲁棒性比较强
- 解释强，结构简单
- 缺点：
- 对异常样本敏感，异常样本可能会在迭代过程中获得较高的权重值，最终影响模型效果
GBDT
- 优点：
- 可以处理连续值和离散值
- 在相对少的调参情况下，模型的预测效果也会不错
- 模型的鲁棒性比较强
- 缺点：
- 由于弱学习器之间存在关联关系，难以并行训练模型
3、GBDT和XGBoost比较
作者：wepon
来源：知乎
- 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。
- 传统GBDT以CART作为基分类器，xgboost还支持线性分类器。
- xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和
- Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。
- 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
- xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
比较代码：
https://github.com/xiayto/Mechine_learning/blob/master/Ensemble_Methods_compare.py