adaboost原理和计算过程

AdaBoost算法是基于Boosting思想的机器学习算法，AdaBoost是adaptive boosting（自适应boosting）的缩写，其运行过程如下：
1) 计算样本权重

$\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$ 设定每个样本的权重都是相等的，即$\frac{1}{n}$

2) 计算错误率

利用第一个弱学习算法$h_1$对其进行学习，学习完成后进行错误率ε的统计：

$\varepsilon = \frac{为正确分类的样本数}{所有样本数目}$

3) 计算弱学习算法权重

弱学习算法也有一个权重，用向量 $\alpha$ 表示，利用错误率计算权重 $\alpha$ ：

$\alpha = \frac{1}{2}\ ln(\frac{1-\varepsilon}{\varepsilon})$

4) 更新样本权重
在第一次学习完成后，需要重新调整样本的权重，以使得在第一分类中被错分的样本的权重，在接下来的学习中可以重点对其进行学习：

$D_{t+1}(i) = \frac{D_t(i)}{Z_t}*\{\frac{ e^{- \alpha _t}\quad if \ h_t(x_i) \ =\ y_i}{ e^{\ \alpha _t}\quad if \ h_t(x_i) \ \neq \ y_i}$

其中，$h_t(x_i) = y_i$表示对第$i$个样本训练正确，不等于则表示分类错误。$Z_t$是一个归一化因子：

$Z_t = sum(D)$

这个公式我们可以继续化简，将两个公式进行合并，化简如下：

$H(x) = sign(\sum^T_{t=1}\alpha_t h_t(x))$
其中$sign(x)$是符号函数。

5) AdaBoost算法