[机器学习]adaboost

集成学习常见的两种集成方案为bagging和boosting，其中bagging是一种基于投票的并行方案，boosting是一种基于改变原始数据集分布的迭代串行方案（某些环节也可并行）。bagging的代表算法为随机森林，boosting的代表算法有adaboost、gbdt、xgb等。

　二分类Adaboost

　多分类问题

1.AdaBoost.M1

AdaBoost.M1和Adaboost.两者的本质区别在于第10步，对比我们可以发现为了适应多分类问题，adaboost的权值更新函数做了一定的调整。
如果一个样本被上一个分类器错误分类，那么它的权重不变，如果这个样本被上一个分类器正确分类，那么它的权重将乘以et/(1-et)，也就是说错误分类的样本权值相对于正确分类的样本权值扩大了(1-et)/et倍(因为如果更改分类错误样本我们不知道其具体偏向哪个类别错误)。

2.AdaBoost.M2

不仅可以处理多分类问题，还引入了置信度的概念，进一步扩展了AdaBoost算法

3.AdaBoost.MH

还有一种处理多类分类的方法，是将多类分类转换为两类分类问题，有 one-versus-rest 和 one-versus-one 两种方式：

参考

https://zhuanlan.zhihu.com/p/25096501

adaboost、adaboost.m1、adaboost.m2简介
监督算法大比拼之BP、SVM、adaboost非线性多分类实验