《机器学习》------Adaboost学习笔记

b站学习视频链接
cdsn参考链接

1、First, What is ensemble learning？

• 包含许多算法如：决策树、SVM、神经网络；
• 为了解决特定的机器学习问题，有策略性地生成和组合多个模型
  分类器的Combiner：
• motivation：提高模型的效果、减少不良模型选择的可能性；
• Bagging 、Boosting ；
  Bagging 、Boosting 在机器学习中的位置：

2、How to combine the outputs classifiers？

• 每个分类器的一定是不一样（DT、SVM、NN、KNN）；
• 其他的分类器可以纠正错误
• 同一种分类器可以根据不同的训练样本得到不同

3、Boosting

一般不会生成太多的分类器，一般最多50个就足够

串行训练，在上一个分类器的结束之后，调整训练样本再训练下一个分类器，相当于每次为之前的分类做弥补或者说纠错，因此，训练样本也是加权的

下面是生成三个分类器的特例：

c3把c1、c2有分歧的拿出来学习，相当于处理分歧的

宏观架构：

训练是串行训练，用的时候是组合起来的。

优点：

• 分类器按顺序生成；
• 训练样本是加权的；
• 对基础分类器要求不是特别高，比瞎猜好一点（正确率>50%）就行；
• Focuses on most informative data points;
• 可以生成任意很强的分类器

4、Adaboost

属于Boosting的最具代表性的算法；
细化了权值的获取，通过学习来获得权值的增加和减少，以及变化多少;

y , h ( x ) ∈ { − 1 , + 1 } y,h(x) \in \{-1,+1\} y,h(x)∈{ −1,+1}

错误率：

$\epsilon =\frac{分类错误的样本数量}{总的样本数量}$

学习算法的权重：

$$\alpha =\frac{1}{2}ln(\frac{1-\epsilon }{\epsilon })$$

训练集中的每个样本被赋予了一定的权重，当多个分类器都把某个样本分类错误的时候，该样本的权重会越来越大，理想情况或者说比较好的情况是各样本的权重都偏小。

因此每训练完上一个分类器后需要更新样本权重，在之后的学习中重点学习.

更新样本权重：

$$D_{t+1}(i)=\frac{D_t(i)}{Z_t}\cdot (e^{-{\alpha }_{t}P(y_i=h_t(x_i))}+e^{{\alpha }_{t}P(y_i\ne h_t(x_i))})$$

$h_t(x_i)=y_i$表示第i个样本分类正确，不等于则表示错误。

$$Z_t=sum(D)$$

式子简化为：
$$D_{t+1}(i)=\frac{D_t(i)\exp (-{\alpha }_t{y}_i{h}_t(x_i))}{Z_t}$$

最终分类器：
$$H(X)=sign\left(\sum _{i=1}^t{\alpha }_i{h}_i(X)\right)$$

误差最小化证明：

step1：先表示出第T+1轮迭代时的样本权重：

$$\begin{array}{rl}{D}_{T+1}(i)& =\frac{1}{m}\cdot \frac{e^{-y_i{\alpha }_1{h}_1(x_i)}}{Z_1}\cdot ...\cdot \frac{e^{-y_i{\alpha }_T{h}_T(x_i)}}{Z_T}\\ & =\frac{e{\sum }_t-y_i{\alpha }_t{h}_t(x_i)}{m{\prod }_t{Z}_t}\\ & =\frac{e^{-y_i{\sum }_t{\alpha }_t{h}_t(x_i)}}{m{\prod }_t{Z}_t}\\ & 令,f(x_i)=\sum _t{\alpha }_t{h}_t(x_i),\\ \therefore & D_{T+1}(i)=\frac{e^{-y_{i}f(x_i)}}{m{\prod }_t{Z}_t}\end{array}\text{\hspace{1em}(1)}$$

step2：易知 y i 、 h t ( x i ) ∈ { − 1 , 1 } y_i、h_t(x_i) \in \{-1,1\} yi​、ht​(xi​)∈{ −1,1}， 有两种情况：

1. 当 $h_t(x_i)\ne y_i$ 时，$y_{i}f(x_i)<0$，即$e^{-y_{i}f(x_i)}\ge 1$
2. 当 $h_t(x_i)=y_i$ 时， $y_{i}f(x_i)>0$, 即$e^{-y_{i}f(x_i)}\le 1$

因此，用一个式子同时包含两种情况：$[[h(x_i)\ne y_i]]=1$，
该式子表示的意思是：如果括号内的条件成立，则式子为1，反之为0.
易得：
$$[[h(x_i)\ne y_i]]\le e^{-y_{i}f(x_i)}$$
把不等式两边做相同的处理：
$$\frac{1}{m}\sum _i[[h(x_i)\ne y_i]]\le \frac{1}{m}\sum _i{e}^{-y_{i}f(x_i)}\text{\hspace{1em}(2)}$$
可以看到，不等式左边似乎有点眼熟，表示的正是错误率，因此，Adaboost 的误差上界可以用 $\frac{1}{m}{\sum }_i{e}^{-y_{i}f(x_i)}$ 来表示，仔细一看这个式子似乎也看不出来什么特殊的性质，但唯一比较能看出的是像 (1) 式中的 $D_{T+1}$ 的分子。

step3：把 (1) 式代入 (2) 式右边进行替换，得到：
$$\frac{1}{m}\sum _i[[h(x_i)\ne y_i]]\le \frac{1}{m}\sum _i{D}_{T+1}(i)\prod _t{Z}_t$$
因为，无论多少次迭代，样本权值之和为1：
$$\frac{1}{m}\sum _i[[h(x_i)\ne y_i]]\le \frac{1}{m}\prod _t{Z}_t\text{\hspace{1em}(3)}$$

step4：从 (3)式 中可以可以看出:
$$\min \frac{1}{m}\sum _i[[h(x_i)\ne y_i]]\le \min \frac{1}{m}\min \prod _t{Z}_t\approx \frac{1}{m}\prod _t\underset{\alpha }{\min }{Z}_t$$
通过每次迭代找局部最优的 $Z_t$， 而 $Z_t=sum(D)$,即每次迭代是误差越来越小的过程。

弱分类器权重 $\alpha$ 推导：

在 Adaboost 算法中，第一个基分类器 $h_1$ 是根据初试样本权重来生成的，此后的$h_t$和 ${\alpha }_t$ 是迭代生成的

想要得到 $\min ({\prod }_t{Z}_t)$ , 只能退而求其次先把每一次迭代 $Z_t$ 最小化：
$Z_t=sum(D)={\sum }_i{D}_i{e}^{-{\alpha }_t{y}_i{h}_t({\mathbf{x}}_{\mathbf{i}})}$ 最小化,
即 $-\alpha y_i{h}_t({\mathbf{x}}_{\mathbf{i}})$ 最小，$y_i$ 与 $h_t({\mathbf{x}}_{\mathbf{i}})$ 的取值范围都为 {-1,1}，
因此 $Z_t$ 可以表示为：
$$Z_t=\sum _i{D}_i{e}^{-{\alpha }_t}\mathbf{P}(y_i=h_t(x_i))+\sum _i{D}_i{e}^{{\alpha }_t}\mathbf{P}(y_i\ne h_t(x_i))$$
,$Z_t$ 对 $\alpha$ 求导:
$$\begin{array}{r}\frac{\partial Z_t}{\partial \alpha }=-e^{{\alpha }_t}\sum _i{D}_i\mathbf{P}(y_i=h_t({\mathbf{x}}_{\mathbf{i}}))+e^{{\alpha }_t}\sum D_i\mathbf{P}(y_i\ne h_t({\mathbf{x}}_{\mathbf{i}}))=0\\ e^{-{\alpha }_t}\sum _i{D}_i\mathbf{P}(y_i=h_t({\mathbf{x}}_{\mathbf{i}}))=e^{{\alpha }_t}\sum _i{D}_i\mathbf{P}(y_i\ne h_t({\mathbf{x}}_{\mathbf{i}}))\\ \frac{{\sum }_i{D}_i\mathbf{P}(y_i=h_t({\mathbf{x}}_{\mathbf{i}})}{{\sum }_i{D}_i\mathbf{P}(y_i\ne h_t({\mathbf{x}}_{\mathbf{i}})}=e^{2{\alpha }_t}\\ \sum _i{D}_i\frac{1-\mathbf{P}(y_i\ne h_t({\mathbf{x}}_{\mathbf{i}}))}{\mathbf{P}(y_i\ne h_t({\mathbf{x}}_{\mathbf{i}}))}=e^{2{\alpha }_t}\\ 此时，等式左边不正表示的是错误率吗？因此：\\ \frac{1-e_t}{e_t}=e^{2{\alpha }_t}\\ {\alpha }_t=\frac{1}{2}\ln \frac{1-e_t}{e_t}\end{array}$$

5、AdaBoost 算法步骤

给定一个训练数据集 $T=(x_1,y_1)(x_2,y_2)...(x_N,y_N)$，其中实例 $x\in \mathcal{X}$ ,而实例空间 $\mathcal{X}\in {\mathbb{R}}^n$，$y_i$ 属于标记集合 { − 1 , + 1 } \{-1,+1\} { −1,+1}.

• 步骤1. 首先，初试化训练数据的权值分布。每一个训练样本最开始时都被赋予相同的权值：$\frac{1}{N}$
  $$D_1(w_{11},w_{12},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...N,$$
  第 $m$ 个基分类器样本权重为：
  D m = { w m 1 , w m 2 , . . . , w m N } , ∑ i = 1 N w m i = 1 D_m=\{w_{m1,}w_{m2},...,w_{mN}\},\sum_{i=1}^Nw_{mi}=1 Dm​={ wm1,​wm2​,...,wmN​},i=1∑N​wmi​=1
• 步骤2. 对于 $M$ (代表分类器的个数)个分类器，分别使用带权值分布的数据进行训练，第一次训练之后得到一个基分类器 $G_m(x)$：
  G m ( x ) : X → { − 1 , + 1 } G_m(x):\mathcal{X} \rightarrow \{-1,+1\} Gm​(x):X→{ −1,+1}
  计算在 $G_m(x)$ 上的分类错误率(训练第 $m$ 个子分类器时分错的占比)：
  $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$

步骤3. 计算 基分类器$G_m(x)$ 的系数（权重）
$${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$

步骤4. 更新权值分布
$$D_{m+1}=(w_{m+1,1},w_{m+1,1},...,w_{m+1,N})$$
$$w_{m+1,i}=\frac{w_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))}{Z_m}$$

其中，$Z_m={\sum }_{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))$ 是一个常数

步骤5. 组合各个弱分类器
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

得到最终分类器：
$$G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right)$$