AdaBoost与GBDT进行比较

AdaBoost: 加法模型，指数损失函数，使用前向分步算法求解模型参数。
目标是使前向分步算法得到的 $\alpha_m$和 $G_m(x)$使 $f_m(x)$在训练集上的指数损失最小。
其中 $f_m(x)=f_{m-1}(x)+\alpha_mG_m(x)$。
证明过程请见笔者AdaBoost文章。

加法模型，前向分步算法，当是平方损失或指数损失时，每一步的优化很简单。但是对于一般损失函数而言，使用前向分步算法的每一步优化并不容易。因此提出了梯度提升算法。

GBDT和Adaboost的不同：
Adaboost是通过提高错分样本的权重来定位模型的不足
GBDT是通过负梯度来定位模型的不足，因此GBDT可以使用更多种类的损失函数