Boosting算法
AdaBoost是典型的Boosting算法，属于Boosting家族的一员。在说AdaBoost之前，先说说Boosting提升算法。Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法模型和前向分步算法。加法模型就是说强分类器由一系列弱分类器线性相加而成。一般组合形式如下：
其中，h(x;am) 就是一个个的弱分类器，am是弱分类器学习到的最优参数，βm就是弱学习在强分类器中所占比重，P是所有am和βm的组合。这些弱分类器线性相加组成强分类器。
前向分步就是说在训练过程中，下一轮迭代产生的分类器是在上一轮的基础上训练得来的。也就是可以写成这样的形式：
由于采用的损失函数不同，Boosting算法也因此有了不同的类型，AdaBoost就是损失函数为指数损失的Boosting算法。
Adaboost算法特性：
1、每次迭代改变的是样本的分布，而不是重复采样。
2、样本分布的改变取决于样本是否被正确分类。
分类正确的样本权值低；分类错误的样本权值高（通常是边界附近的样本）。
3、最终的结果是弱分类器的加权组合，权值表示该弱分类器的性能。
算法流程
- 输入训练数据集T={(x1,y1),(x2,y2),(xN,yN)}；
其中，xi∈X⊆Rn；yi∈Y=−1,1；迭代次数M。 - 初始化训练样本的权值分布：
- 对于m=1,2,…,M，使用具有权值分布Dm的训练数据集进行学习，得到弱分类器Gm(x)。
计算Gm(x)在训练数据集上的分类误差率：
计算Gm(x)在强分类器中所占的权重：
更新训练数据集的权值分布（这里，zm是归一化因子，为了使样本的概率分布和为1）：
- 得到最终分类器：
sign函数用于求数值的正负。数值大于0，为1。小于0，为-1.等于0，为0。
公式推导
假设已经经过m−1轮迭代，得到Fm−1(x)，根据前向分步，我们可以得到：
AdaBoost是采用指数损失，由此可以得到损失函数：
Fm-1(xi)已知，化简得到：
继续化简Loss：
Adaboost算法的特性
一、训练的错误率上界，随着迭代次数的增加，会以指数速率下降；
二、adaboost算法即使训练次数很多，也不会出现过拟合的问题。
证明过程如下：
AdaBoost的优点和缺点
优点：
1、Adaboost提供一种框架，在框架内可以使用各种方法构建子分类器。可以使用简单的弱分类器，不用对特征进行筛选。
2、Adaboost算法不需要弱分类器的先验知识，最后得到的强分类器的分类精度依赖于所有弱分类器。无论是应用于人造数据还是真实数据，Adaboost都能显著的提高学习精度。
3、Adaboost算法不需要预先知道弱分类器的错误率上限，且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，可以深挖分类器的能力。Adaboost可以根据弱分类器的反馈，自适应地调整假定的错误率，执行的效率高。
4、Adaboost对同一个训练样本集训练不同的弱分类器，按照一定的方法把这些弱分类器集合起来，构造一个分类能力很强的强分类器，即“三个臭皮匠赛过一个诸葛亮”。
缺点：
在Adaboost训练过程中，Adaboost会使得难于分类样本的权值呈指数增长，训练将会过于偏向这类困难的样本，导致Adaboost算法易受噪声干扰。此外，Adaboost依赖于弱分类器，而弱分类器的训练时间往往很长。
