对SVM的推导和编码实践（二）SMO算法的推导

目标函数和约束条件

$$\underset{\alpha }{min}\frac{1}{2}\sum_{i,j=1}^{N}\alpha _i\alpha _jy_iy_j<x_i,x_j>-\sum_{i=1}^{N}\alpha _i\\ s.t.,\sum_{i=1}^{N}\alpha _iy_i=0\\ 0\leq \alpha _i\leq C \tag{13}$$

SMO简介

SMO算法的目标是求出一系列alpha和b，一旦求出了这些alpha和b，就很容易计算出权重向量w并得到分隔超平面。

SMO算法的工作原理是：每次循环中选择两个alpha进行优化处理。一旦找到一对合适的alpha，那么就增大其中一个同时减小另一个。这里所谓的“合适”就是指两个alpha必须要符合一定的条件，条件之一就是这两个alpha必须要在间隔边界之外，而其第二个条件则是这两个alpha还没有进行过区间化处理或者不在边界上。

Platt SMO算法中的外循环确定要优化的最佳alpha对。而简化版却会跳过这一部分，首先在数据集上遍历每一个alpha，然后在剩下的alpha集合中随机选择另一个alpha，从而构建alpha对。这里有一点相当重要，就是我们要同时改变两个alpha。之所以这样做是因为我们有一个约束条件：
$\sum_{i=1}^{N}\alpha _iy_i=0 \tag{14}$
由于改变一个alpha可能会导致该约束条件失效，因此我们总是同时改变两个alpha。

SMO是一个可以快速解决SVM QP问题而不使用矩阵存储空间和数值优化步的简单算法。SMO使用Qsuna的理论分解QP问题以确保收敛。

SMO在每一步选择尽可能小的优化问题。对标准的SVM QP问题，最小的优化问题涉及到两个拉格朗日乘数，因为拉格朗日乘数必须遵循一个线性等式约束。在每一步SMO选择两个乘数一起优化，寻找最优值，更新SVM以体现这些新的最优值。

SMO的优势体现于解那两个乘数的最优值的时候可以直接计算解析解而不是通过数值优化。此外，SMO不需要额外的空间存储矩阵，因此非常大规模的SVM训练问题也可以装进一台普通的个人电脑的内存里。因为没有涉及到矩阵算法，SMO算法不受数值精度问题的影响。

SMO由两部分组成：
1、解那两个拉格朗日乘数的解析解
2、如何选择那两个拉格朗日乘数进行优化的启发式算法

SMO的基本思路

确保自己理解思路，觉得《统计学习方法》里面这段话很重要，于是抄录如下：

SMO算法是一种启发式算法，其基本思路是：如果所有变量的解都满足此优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数的值变得更小。重要的是，这时子问题可以通过解析方法求解（注：求导什么的）。这样就可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反kkt条件最严重的那一个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求原问题的目的。

两个变量的二次规划求解方法

得到alpha _1,alpha _2的递推公式

假设已经选择$\alpha _1,\alpha _2$，其他橙子是固定的，于是式(13)可以写成：

$$\underset{\alpha_1,\alpha_2 }{min}\frac{1}{2}\alpha_1^2<x_1,x_1>+\frac{1}{2}\alpha_2^2<x_2,x_2>+\alpha_1\alpha_2y_1y_2<x_1,x_2>\\-\alpha_1-\alpha_2+ \alpha_1y_1\sum_{i=3}^{N}\alpha _iy_i<x_i,x_1>+\alpha_2y_2\sum_{i=3}^{N}\alpha _iy_i<x_i,x_2>\\ s.t.,\alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^{N}\alpha _iy_i=\zeta \\ 0\leq \alpha _i\leq C ,i=1,2 \tag{14}$$

对于上述优化问题来说常数因子没有意义，故省略了很多不含$\alpha_1,\alpha_2$的常数项，如$\alpha_3\alpha_4y_3y_4<x_3,x_4>$。
因为符号太多，想办法做下简化，令
$K_{ij}=K(x_i,x_j)=<x_i,x_j> \tag{15}$
如上一章所讲，内积只是$x_i,x_j$是数据集线性可分的情况下的计算方式，如果引入其他升维核函数将不是内积，这里用$K_{ij}$来代换是合适的。
(14)写成：

$$\underset{\alpha_1,\alpha_2 }{min}\frac{1}{2}\alpha_1^2K_{11}+\frac{1}{2}\alpha_2^2K_{22}+\alpha_1\alpha_2y_1y_2K_{12}-\alpha_1-\alpha_2\\+ \alpha_1y_1\sum_{i=3}^{N}\alpha _iy_iK_{i1}+\alpha_2y_2\sum_{i=3}^{N}\alpha _iy_iK_{i2}\\ s.t.,\alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^{N}\alpha _iy_i=\zeta \\ 0\leq \alpha _i\leq C ,i=1,2 \tag{16}$$
另外我们发现 $\sum_{i=1}^{N}\alpha _iy_i<x_i,x_1>$不就是 $w^Tx_1$吗，（16）和式的 后两项其实就是对x1,x2预测的计算过程去掉两个样本（用来更新$\alpha _1,\alpha _2$的那两个样本），有点意思。
我们把决策公式记为：
$$g(x) =\sum_{i=1}^{N}\alpha _iy_iK(x_i,x)+b \tag{17}$$

引进记号
$v_j = \sum_{i=3}^{N}\alpha _iy_iK_{ij}=g(x_j)-\sum_{i=1,2}\alpha _iy_iK_{ij}-b\tag{18}$
要想记住它就这样记忆：$v_i$是对第i个样本进行预测的向量相乘($w^Tx-b$)忽略前两个样本。
则（16）式改写成：

$$\underset{\alpha_1,\alpha_2 }{min}\frac{1}{2}\alpha_1^2K_{11}+\frac{1}{2}\alpha_2^2K_{22}+\alpha_1\alpha_2y_1y_2K_{12}-\alpha_1-\alpha_2\\+ \alpha_1y_1v_1+\alpha_2y_2v_2\\ s.t.,\alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^{N}\alpha _iy_i=\zeta \\ 0\leq \alpha _i\leq C ,i=1,2 \tag{19}$$
为什么要做这些记号，这是因为我们的关注点始终是 $\alpha_1,\alpha_2$这些系数什么的只要和 $\alpha_1,\alpha_2$无关，那么在求解的过程中只是被带来带去而已，简写之后看起来简洁，计算不易出错，什么时候要恢复成原样，把记号替换了就行。马上就可以看到疗效。

符号撸完之后，现在开始求解：
1、把$\alpha_1$用$\alpha_2$表示：$\alpha_1=y_1(\zeta -\alpha_2y_2)$并带入19，就只剩下变量$\alpha_2$了：

$$\underset{\alpha_1,\alpha_2 }{min}\frac{1}{2}K_{11}(\zeta -y_2\alpha_2)^2+\frac{1}{2}K_{22}\alpha_2^2+y_2K_{12}(\zeta -y_2\alpha_2)\alpha_2\\-y_1(\zeta -y_2\alpha_2)-\alpha_2+v_1(\zeta -y_2\alpha_2)+y_2v_2\alpha_2\tag{20}$$
注意， $y_1^2=1$所以被消掉，为了好看我们把 $\alpha_2$的系数全部写在了前面

2、（20）式min后面的函数对$\alpha_2$求导并令为0，得

$$-K_{11}\zeta y_2+K_{11}\alpha_2+K_{22}\alpha_2+K_{12}y_2\zeta-2K_{12}\alpha_2+y_1y_2-1-y_2v_1+y_2v_2=0\Rightarrow \\ K_{11}\alpha_2+K_{22}\alpha_2-2K_{12}\alpha_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1y_2-1-v_1y_2+y_2v_2=0\Rightarrow \\ (K_{11}+K_{22}-2K_{12})\alpha_2= y_2(K_{11}\zeta-K_{12}\zeta+y_2-y_1+v_1-v_2)$$
把v1，v2的原式带入：
$$(K_{11}+K_{22}-2K_{12})\alpha_2= y_2\begin{bmatrix} K_{11}\zeta-K_{12}\zeta+y_2-y_1+(g(x_1)-\sum_{i=1,2}\alpha _iy_iK_{i1}-b)-(g(x_2)-\sum_{i=1,2}\alpha _iy_iK_{i2}-b) \end{bmatrix}\\ = y_2\begin{bmatrix}(g(x_1)-y_1)-(g(x_2)-y_2)+ K_{11}\zeta-K_{12}\zeta-\sum_{i=1,2}\alpha _iy_iK_{i1}+\sum_{i=1,2}\alpha _iy_iK_{i2} \end{bmatrix}$$
接着做两个动作
a.记 $E_i=g(x_i)-y_i$表示预测分类和真实分类的误差
b.把 $\zeta=\sum_{i=1,2}\alpha_i^{old}y_i$带进去
$$(K_{11}+K_{22}-2K_{12})\alpha_2^{new,ucp}=\\ y_2(E_1-E_2)+y_2(K_{11}\sum_{i=1,2}\alpha _iy_i-K_{12}\sum_{i=1,2}\alpha _iy_i-\sum_{i=1,2}\alpha _iy_iK_{i1}+\sum_{i=1,2}\alpha _iy_iK_{i2})\\ =y_2(E_1-E_2)+y_2(K_{11}\alpha _2y_2-K_{12}\alpha _2y_2-\alpha _2y_2K_{21}+\alpha _2y_2K_{22})\\ =y_2(E_1-E_2)+(K_{11}-2K_{12}+K_{22})\alpha _2^{old}$$

漂亮，终于松一口气，接着
令$\eta =K_{11}-2K_{12}+K_{22}$，则有：
$\alpha_2^{new,ucp}=\frac{y_2(E_1-E_2)}{\eta }+\alpha _2^{old} \tag{21}$

你可能对ucp这个标记不解，我们随后会解释.

这一步是求解$\alpha _1\alpha _2$的里程碑，这里意味着我们有了一个递推公式，就像梯度下降一样，对于旧值我们知道了旧值→新值的步长。如果你对之前的推导和计算毫无兴趣，那么这个递推公式可以直接用于编程了

如何计算$\alpha _1$，因为无论新值旧值都要受到约束，因此

$$\alpha _1^{new}y_1+\alpha _2^{new}y_2=\alpha _1^{old}y_1+\alpha _2^{old}y_2\Rightarrow \\$$
$$\alpha _1^{new}=\frac{\alpha _1^{old}y_1+\alpha _2^{old}y_2-\alpha _2^{new}y_2 }{y_1}\\ = \alpha _1^{old}-y_1y_2(\alpha _2^{new}-\alpha _2^{old}) \tag{22}$$
可以看到a1和a2变化的绝对值是一样的，只是方向相反。

alpha _1，alpha _2的修剪问题

这里有一个很讨厌的问题，就是递推式(21)计算出来的$\alpha_2^{new,ucp}$可能太大或太小，换句话说它是有范围的。
直到现在我们只使用了约束条件中的求和等式（14），但是不等式还没有用。
我们首先应该意识到$0\leq\alpha_2^{new,ucp}\leq C$，另外在迭代之前由变量旧值决定的$\zeta=\sum_{i=1,2}\alpha_i^{old}y_i$仍然约束着新值。所以$\alpha_2^{new,ucp}$的边界应综合考虑这两条。

SMO作者论文中给出了这样一张图：

由于两个自变量的线性组合固定为常数，所以$\zeta=\sum_{i=1,2}\alpha_i^{old}y_i$决定着一条直线，加上α本身的范围决定着一个线段。新的α取值仍然要保证在这条线段上，由于$\alpha_1^{new}$由$\alpha_2^{new}$计算出，所以只需考虑$\alpha_2^{new}$的范围控制在线段的断点即可，具体来说，
对于$y_1≠y_2:$
下界$L=max(0,\alpha_2-\alpha_1)$
上界$H=min(C,C+\alpha_2-\alpha_1)$
对于$y_1=y_2:$
下界$L=max(0,\alpha_2+\alpha_1-C)$
上界$H=min(C,\alpha_2+\alpha_1)$
这里面的α全部是旧值。

基于上下界限定，我们需要对$\alpha_2^{new,ucp}$进行修剪：

$$\alpha_2^{new}=\left\{\begin{matrix} L&if:\alpha _2^{new,ucp}<L\\ \alpha _2^{new,ucp}&if:L\leq \alpha _2^{new,ucp}\geq H \\ H&if:\alpha _2^{new,ucp}>H \end{matrix}\right.\tag{23}$$

b的更新（递推公式）

α有n个，但是b只有1个，怎么确定b的递推公式呢？
考虑（17）式，当$0\lt \alpha _1^{new}\lt C$有

$$\because g(x_1)^{new} =\sum_{i=1}^{N}\alpha _i^{new}y_iK(x_i,x_1)+b_1^{new}=y_1\\ \therefore b_1^{new} = y_1-\alpha _1^{new}y_1K_{11}-\alpha _2^{new}y_2K_{21}-\sum_{3}^{N}\alpha _iy_iKi1\\ \because E_1 = \alpha _1^{old}y_1K_{11}+\alpha _2^{old}y_2K_{21}+\sum_{3}^{N}\alpha _iy_iKi1-y_1+b^{old}\\ \therefore b_1^{new} = -E_1+\alpha _1^{old}y_1K_{11}+\alpha _2^{old}y_2K_{21}-\alpha _1^{new}y_1K_{11}-\alpha _2^{new}y_2K_{21}+b^{old}\\ \therefore b_1^{new} = -E_1+y_1K_{11}(\alpha _1^{old}-\alpha _1^{new})+y_2K_{21}(\alpha _2^{old}-\alpha _2^{new})+b^{old}\\$$

也就是说x1在边界上（x1是支持向量）时能求出这个递推式，同样如果有$0\lt \alpha _2^{new}\lt C$则：

$$b_2^{new} = -E_2+y_1K_{12}(\alpha _1^{old}-\alpha _1^{new})+y_2K_{22}(\alpha _2^{old}-\alpha _2^{new})+b^{old}\\$$
如果 $0\lt \alpha _1^{new}\lt C$， $0\lt \alpha _2^{new}\lt C$，有 $b_1^{new}=b_2^{new}$。

$$if:\alpha _1=0 或 \alpha _1=C 或\alpha _2=0 或 \alpha _2=C$$ 那么 $b_1^{new} ,b_2^{new}$以及它们之间的任意一个数都是符合KKT条件的，这时选择它们的中点作为 $b^{new}$。

综上：

$$b^{new}=\left\{\begin{matrix} -E_1+y_1K_{11}(\alpha _1^{old}-\alpha _1^{new})+y_2K_{21}(\alpha _2^{old}-\alpha _2^{new})+b^{old}&if:x_1,x_2\text{ are both support vector}\\ \\ \frac{b_1^{new}+b_2^{new}}{2}& others \end{matrix}\right.\tag{24}$$

小结

至此所有的迭代公式都已经写出。简单总结如下：
SMO的基本思路是选出两个橙子，其余视为常量，重写目标函数是只保留$\alpha_1,\alpha_2$相关项，重写目标函数限定$\sum_{i=1,2}\alpha_iy_i$

各种数学处理加替换，形成只有$\alpha_2$作为自变量的目标函数，然后求导志玲得到$\alpha_2$的迭代或称递推公式，自然得到$\alpha_1$的递推公式。

$\alpha_2$的递推公式是第一个里程碑。

下一个里程碑是修剪超出范围的$\alpha_1,\alpha_2$。

最后一个里程碑是b的迭代，这需要考察KKT条件。

我们所有的计算都是基于KKT条件及其演变的。

接下来，我们就可以写代码来实现这一部分了。