[机器学习] - 支持向量机（二）： 软间隔支持向量机

欢迎转载，转载请注明出处：https://blog.csdn.net/qq_41709378/article/details/106639967
——————————————————————————————————————————————————

我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以引入松弛变量，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。

1. 前言

在前一篇支持向量机（一）： 硬间隔支持向量机讲了线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束$y_i\left(w^T{x}_i+b\right)\ge 1i=1....N$并不能都成立。怎么才能将它扩展到线性不可分问题呢？这就需要修改硬间隔最大化，使其成为软间隔最大化。

本文对支持向量机做一个推广 ，允许超平面能够错分一些点，找出分隔超平面。

2. SVM异常点问题

在线性可分问题情况下，训练数据集会被分隔超平面分成两个部分，看下图。

　　当有一个离群点（可能是噪声）存在时，

　　离群点的存在可以造成超平面的移动，间隔缩小，可见以前的模型对噪声非常敏感，如果再按照线性可分问题分析，会使训练的模型过拟合。
　　
　　如果离群点（可能是噪声）再严重点，跑到对面的分类集中，

　　此时，模型不能运用线性可分问题的支持向量机学习方法，找不到分隔超平面。
　　有时候本来数据的确是可分的，也就是说可以用线性可分问题的支持向量机学习方法来求解，但是却因为混入了离群点（可能是噪声），导致不能线性可分，本来数据是可以按上图中的实线来做超平面分离的，可以由于一个橙色和一个蓝色的离群点导致我们没法按照上一篇线性支持向量机中的方法来分类。

3. 线性分类SVM的软间隔最大化

这时候我们应该允许一些点游离并在在模型中违背限制条件（函数间隔大于1）。我们设计得到新的模型如下（也称软间隔）：
　　　　　　　　　　　　　　　　　　　　　　$\underset{w,b,\xi }{\min }\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$
　　　　　　　　　　　　　　　　　　　　　　$s.t.y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,2,..,N$
　　　　　　　　　　　　　　　　　　　　　　　　　${\xi }_i\ge 0,i=1,2,..,N$
　　这里，$C>0$为惩罚参数，可以理解为我们一般回归和分类问题正则化时候的参数。C越大，对误分类的惩罚越大，C越小，对误分类的惩罚越小。
　　其次，引入非负参数${\xi }_i$后（称为松弛变量），就允许某些样本点的函数间隔小于1，即在最大间隔区间里面，容忍了函数间隔是负数，即样本点在对方的区域中。而放松限制条件后，我们需要重新调整目标函数，以对离群点进行处罚，目标函数后面加上的$C\sum _{i=1}^N{\xi }_i$就表示离群点越多，目标函数值越大，而我们要求的是尽可能小的目标函数值。C作为惩罚参数，是离群点的权重，C越大表明离群点对目标函数影响越大，也就是越不希望看到离群点。
　　我们看到，目标函数控制了离群点的数目和程度，使大部分样本点仍然遵守限制条件。

4. 拉格朗日对偶化

模型修改后，拉格朗日公式也要修改如下：
　　　　　　　　　　　　　　　$L\left(w,b,\xi ,\alpha ,\mu \right)=\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left[y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^N{\mu }_i{\xi }_i$
　　
　　这里的${\alpha }_i$和${\mu }_i$都是拉格朗日乘子，回想我们在拉格朗日对偶中提到的求法，先写出拉格朗日公式（如上），然后将其看作是变量w和b的函数，分别对其求偏导，求其最小值，得到w和b的表达式。然后代入公式中，求带入后公式的极大值。
　　(1) 先求$L\left(w,b,\xi ,\alpha ,\mu \right)$对w,b的极小
　　对w,b,ξ求偏导
　　　　　　　　　　　　　　　　　　${\nabla }_{w}L\left(w,b,\xi ,\alpha ,\mu \right)=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$
　　　　　　　　　　　　　　　　　　${\nabla }_{b}L\left(w,b,\xi ,\alpha ,\mu \right)=-\sum _{i=1}^N{\alpha }_i{y}_i=0$
　　　　　　　　　　　　　　　　　　${\nabla }_{{\xi }_i}L\left(w,b,\xi ,\alpha ,\mu \right)=C-{\alpha }_i-{\mu }_i=0$
将上式$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$带回到拉格朗日函数$L\left(w,b,\xi ,\alpha ,\mu \right)=\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left[y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^N{\mu }_i{\xi }_i$中得到，此时得到的是该函数的最小值（目标函数是凸函数）。化简过程如下：
　　　　　$L\left(w,b,\xi ,\alpha ,\mu \right)=\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left[y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^N{\mu }_i{\xi }_i$
　　　　　　　　　　　　　$=\frac{1}{2}{w}^{T}w-\sum _{i=1}^N{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i$
　　　　　　　　　　　　　$=\frac{1}{2}{w}^T\sum _{i=1}^N{\alpha }_i{y}_i{x}_i-w^T\sum _{i=1}^N{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i$
　　　　　　　　　　　　　$=-\frac{1}{2}{w}^T\sum _{i=1}^N{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N\left(C-{\alpha }_i-{\mu }_i\right){\xi }_i$
　　　　　　　　　　　　　$=-\frac{1}{2}{\left(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\right)}^T\sum _{i=1}^N{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N\left(C-{\alpha }_i-{\mu }_i\right){\xi }_i$
　　　　　　　　　　　　　$=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{\left(x_j\right)}^T-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N\left(C-{\alpha }_i-{\mu }_i\right){\xi }_i$
　　
　　最后得到
　　　　　　　　　　　　　$=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{\left(x_j\right)}^T-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N\left(C-{\alpha }_i-{\mu }_i\right){\xi }_i$
　　由于$\sum _{i=1}^N{\alpha }_i{y}_i=0$，$C-{\alpha }_i-{\mu }_i=0$，并且将向量内积$x_i{\left(x_j\right)}^T$表示为$\left(x_i\cdot x_j\right)$。
　　因此简化为
　　　　　　　　　　　　　$\underset{w,b,\xi }{\min }L\left(w,b,\xi ,\alpha ,\mu \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$

(2) 求$\underset{w,b,\xi }{\min }L\left(w,b,\xi ,\alpha ,\mu \right)$对$\alpha$的极大值，即是对偶问题
　　　　　　　　　　　　　　　　　$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$
　　　　　　　　　　　　　　　　　$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$
　　　　　　　　　　　　　　　　　　　　$0\le {\alpha }_i\le C$

此时，我们发现没有了参数${\xi }_i$，与之前模型唯一不同在于又多了的限制条件${\alpha }_i\le C$。需要提醒的是，b的求值公式也发生了改变。先看看KKT条件的变化：

第一个式子表明在两条间隔线外的样本点前面的系数为0；第二个式子表示离群样本点前面的系数为C，第三个式子表示支持向量（也就是在超平面两边的最大间隔线上）的样本点前面系数在(0,C)上。通过KKT条件可知，某些在最大间隔线上的样本点也不是支持向量，相反也可能是离群点。 我们可以通过SMO算法来求上式极小化时对应的α向量就可以求出w和b了。

5. Hinge损失函数

我们从另一个角度来解读软间隔的损失函数，表达式如下：
　　　　　　　　　　　　　　　　　　$\sum _{i=1}^N{\left[1-y_i\left(w\cdot x_i+b\right)\right]}_{+}+\lambda {\Vert w\Vert }^2$
　　目标函数的第1项是经验损失或经验风险，函数
　　　　　　　　　　　　　　　　　$L\left(y\left(w\cdot x+b\right)\right)={\left[1-y\left(w\cdot x+b\right)\right]}_{+}$
　　称为合页损失函数( hinge loss function)。下标“十”表示以下取正值的函数。
　　　　　　　　　　　　　　　　　　　　${\left[z\right]}_{+}=\{\begin{array}{l}z,z>0\\ 0,z\le 0\end{array}$
　　也就是说，如果点被正确分类，且函数间隔大于1，损失是0，否则损失是$1-y\left(w\cdot x+b\right)$。
　　
　　我们在下图还可以看出其他各种模型损失和函数间隔的关系：对于0-1损失函数，如果正确分类，损失是0，误分类损失1， 如下图黑线，【可见0-1损失函数是不可导的】。对于感知机模型，感知机的损失函数是${\left[1-y\left(w\cdot x+b\right)\right]}_{+}$，这样当样本被正确分类时，损失是0，误分类时，损失是$-y\left(w\cdot x+b\right)$，如下图紫线。对于逻辑回归之类和最大熵模型对应的对数损失，损失函数是$log[1+exp(-y(w\bullet x+b))]$, 如下图红线所示。　

6.总结

1. 线性可分SVM通过软间隔最大化，可以解决线性数据集带有异常点时的分类处理。
2. 进行了软间隔的处理，在KTT条件下，松弛变量${\xi }_i$没有出现在最后的目标函数中，最后的优化求解问题，也被拉格朗日对偶和SMO算法化解，使SVM趋向于完美。

参考资料

1 ：https://www.cnblogs.com/jerrylead/archive/2011/03/18/1988415.html2
2： https://www.cnblogs.com/huangyc/p/9938306.html#_labelTop
3： https://zhuanlan.zhihu.com/p/76946313
4： 李航《统计学习方法》