机器学习原理 || 集成算法: Adaboost

---

参考书籍：
周志华.机器学习 P171
​李航.统计学习方法 P137
范明译.数据挖掘导论 P168
the element of statistical learning datamining .inference and prediction P337
Anintroduction to statitic learning P316
PRML P657

这里先介绍Adaboost

Adaboost：基于加性模型迭代式优化指数损失函数

1、思想：

• 先从初始训练集训练出一个基学习器
• 根据基学习器的表现对样本分布进行调整，将分错的样本的权重增大
• 基于调整后的样本分布来训练下一个基学习器
• 反复进行，训练T个学习器，采用结合策略进行预测

2、目标函数

最小化指数损失函数

$$L_{exp} (H│D)=E^{(x│D)} e^{(−yH(x) )}$$

$$H(x)=Σ_{t=1}^T α_t h_t (x)$$

$L_{exp} (H│D)=E^{(x│D)} e^ {−yH(x)}$	最小化损失函数
$\frac{∂L_{exp} (H│D)}{∂H(x)} =E^{(x│D)} (e^{−yH(x)}·(−y))$	令$\frac{∂L_exp (H│D)}{∂H(x)} =0$
$=−e^{H(x)} P(y =1│x) + e^{H(x)} P(y=−1│x)$
$H(x)=\frac12 ln\frac{P(y=1│x)}{P(y=−1│x) }$
$sign(H(x))=sign(\frac12 ln\frac{⁡P(y=1│x)}{P(y=−1│x) )})$
该指数函数是 0-1 损失函数的替代函数

3、步骤

输入：训练集$D = {(x_1 ,y_1),(x_2 ,y_2),…,(x_n ,y_n)}$;基学习算法；训练轮数T
输出：最终分类器

过程：

1.初始化样本权值分布 $D_1=(w_{11},…,w_{1i},…,w_{1n} ),w_{1i}=\frac1n,i=1,2,…,n$
fort 1,2,…,T:
2. 基于分布$D_t$ 从数据训练集$D$中训练分类器$h_t$
3. 计算$h_t$ 在训练集上的分类误差率
$e_t=P(h_t (x)≠y)=Σ_{i=1}^n w_{ti} I(h_t (x_i ) ≠y_i)$
if $e_t<0.5$ then break ( 或者采用重采样的方法)
4. 确定分类器$h_t$ 的权重
$α_t=\frac12 ln⁡\frac{1−e_t}{e_t}$
5. 更新样本分布
$D_{t+1}=(w_{t+1,1},…,w_{t+1,i},…,w_{t+1,n} )$
$w_{t+1,i}=\frac{w_{ti}}{Z_t} e^{(−y_i α_t h_t (x)}, i=1,2,…,n$
end for
构建分类器的线性组合：$f(x)=Σ_{t=1}^T α_t h_t (x)$
最终分类器：$H(x)=sign(Σ_{t=1}^T α_t h_t (x))$

注：
1、对无法接受带权样本的基学习算法，可通过重采样处理；即根据新的样本分布对训练集进行采样

2、每轮生成基学习器时，需满足基本条件： $e_t<0.5$

3、$α_t$ 与$e_t$ 的关系：当$e_t<0.5$时，$α_t>0$, $α_t$ 随$e_t$ 的减小而增大，分类误差率越小的基本分类器在最终分类器中的作用最大。