boosting 和 bagging 都是 ensemble 的一种
参考： https://quantdare.com/what-is-the-difference-between-bagging-and-boosting/
boosting 和 bagging 都是集成学习(ensemble learning)中的一种技术。
它们都是把一些弱分类器组合到一起，形成一个新的强分类器。
Bagging 和 Boosting 的区别
Bagging 和 Boosting 都是集成学习(ensemble methods)中的一种方法。但是它们的各自的特点是什么呢？
Bagging 和 Boosting 都是集成学习的技术。这种技术将多个弱分类器组合成一个强分类器，进行将性能提高。
什么是集成学习方法（ensemble method)?
集成，是机器学习里面的一种方法，在这种方法里使用一种学习方法可以训练多个模型。
集成学习使用一组（成千上万）的学习模型，朝着一个目的进行优化。
第二种多分类器包含一种混合方法，它们使用多种不同学习方法进行优化。比较知名的就是 Stacking。
也就是 用一种方法优化多个分类器是 ensemble ，使用多种方法优化多个分类器是 stacking？
在模型的学习过程中，主要的问题是噪声、样本采样偏差以及样本分布的偏差。集成学习的方法旨在降低这些因素的影响。集成学习是为了提高最终模型的稳定性和准确率。
组合起来的多分类器，尤其是对于不稳定的分类器，会更稳定一些。
无论是使用 Bagging 还是 Boosting 都需要选择一个基础的学习算法。
例如，如果我们以决策为基础算法，Bagging 和 Boosting 都可以用尽可能多的单个树分类器。
Bagging 和 Boosting 的区别
Bagging 和 Boosting 的区别在于数据训练过程中如何增加数据。
每次采样的时候有 N 个新数据在样本集中抽取出来。同时，由于每次抽取的时候，旧样本都被放回样本池中，所以下次抽取的数据有可能在之前出现过。
采样过程中：
- Bagging 每次采样的时候，所有样本的权重一直不变。在训练过程中，不同的分类器可以同时进行训练。
- Boosting 每次采样的过程中，当前样本的权重由之前的分类情况决定。所以，Boosting 的分类器需要等待之前的分类器训练结束。它的训练过程是串行的。
Boosting 每次训练的过程中，之前被误分类的样本，会被提高权重。这样，新的分类器将会把“注意力”放在这些不太好分类的样本上。
因为 Bagging 和 Boosting 用的相同的基础学习器，而每次的训练样本有所区别，所以最终得到的分类器会有所不同。
预测过程是怎么工作的呢？
How does the classification stage work?
- Bagging 把每个子分类器的输出结果取个均值就得到了最终的输出结果。
- Boosting 在做分类的时候，又出现了一个新的权重，每个分类器获得一个权重。所有分类器和权重结合得到最终分类结果。
好的分类器会被分得更大的权重，所以在评估新的分类器时，需要对比旧的分类器。
一个 Boosting 技术对单个分类器进行选择。如，AdaBoost 中如果一个错误率大于 50% 的分类器就会被丢掉。然后进行重复迭代获得一个新的合格（错误率比随机猜要低）的分类器。
Bagging 和 Boosting 哪个更好？
两者之间的优势，并没有绝对的偏向。优势取决于数据，环境。
Bagging 和 Boosting 都降低了单个模型的预测方差，提高了模型的稳定性。
如果单个模型的表现都不好的时候，Bagging （作为均衡值）就可能比较差。
此时 Boosting 就可能会保留更好的子模型，降低更差的模型的影响。
By contrast, if the difficulty of the single model is over-fitting, then Bagging is the best option. Boosting for its part doesn’t help to avoid over-fitting; in fact, this technique is faced with this problem itself. For this reason, Bagging is effective more often than Boosting.
与此同时，如果单个模型的问题是过拟合，那么 Bagging 或许是个更好的选择。
Boosting 不能帮助解决过拟合的问题。事实上，Boosting 本身就有过拟合的倾向。
这时候，Bagging 就会更好了。
总结
| 相似点 | 不同点 |
|---|---|
| 两个都是集成了多个分类器，生成一个更多的分类器。而单个分类器的学习方法是相同的。 | Bagging 的子分类器是相互独立的；Boosting 的子分类器，在前一个分类器不足的基础上进行改进。 |
| 训练子集的选择都是随机抽样。 | 只有 Boosting 会给样本分配权重，以着重处理比较难分类的样本。 |
| 最终的模型都综合考量了所有子分类器（当然，有的技术会有选择） | Bagging 平等看待每个样本；Boosting 则不 |
| 两个都能降低单个模型引起的偏差 | Boosting 尝试降低 bias。Bagging 可以减少过拟合。而 Boosting 可能会引起过拟合。 |
疑问
Boosting 每次训练模型的时候，也是随机抽样？不是全部的数据吗？
其实是可以理解的：每次随机抽样，对样本进行分类。分的不好的样本，加大权重，再进行训练。只有 Boosting 可以 reduce bias
所以这个 bias 是因为样本采样不均衡引起的吗？