集成学习之boosting，Adaboost、GBDT 和 xgboost（二）

AdaBoost 算法的训练误差分析

AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率。

定理：AdaBoost的训练误差界：
$\frac{1}{N}\displaystyle\sum_{i=1}^{N}I(G(x_i)≠y_i)≤\frac{1}{N}\displaystyle\sum_{i}exp(-y_if(x_i))=∏Z_m$
证明：当 $G(x_i)≠y_i$时， $y_if(x_i)<0$，因而 $exp(-y_if(x_i))≥1$,由此直接推导出前半部分。
后半部分的推导要利用 $Z_m$的定义式及其变形：
$w_{mi}exp(-α_my_iG_m(x_i))=Z_mw_{m+1,i}$
推导过程如下：

这一定理说明，可以再每一轮选取适当的 $G_m$使得 $Z_m$最小，从而使得训练误差下降最快。
（ $G_m的选择时在权重向量D_m确定的情况下，使样本误分类率最低$）

定理2：二分类问题AdaBoost的训练误差界：