SVM原理推导(课堂笔记及思路整理)

前言

上数据挖掘课的樊老师讲了三节课，一堆堆的数学符号。这里加以整理，非常感谢樊老师讲的知识。（我不生产知识，我只是知识的搬运工, 开个玩笑嘻嘻）。这里记录一下过程还有我对过程的一些理解。
为避免像上次一样一些网站转载博客而不标注网址，这里我提一下:
本文链接: https://blog.csdn.net/weixin_43850253/article/details/109356427

知识体系

• hard margin SVM
• soft margin SVM
• kernel SVM

其中，线性的有hard margin SVM 和 soft margin SVM, 非线性的有kernel SVM。

hard margin SVM

hard margin SVM要求两个支持向量之间不存在数据点，如果存在的话则要使用soft margin SVM。
这里我们要分割出两个类别，要使得离支持向量最近的点到支持向量的距离最大，这个时候这个线(或平面或者超平面) 的分类效果是最好的。
点到超平面的距离公式如下:
$$d=\frac{|w^T{x}_i+b|}{||w||}$$

如何推导的话这里推荐一篇博客: SVM 任意点到超平面的距离公式

然后我们的目标就变为了如下
$$ma{x}_{w,b}mi{n}_{x_i}\frac{|w^T{x}_i+b|}{||w||}$$
$$\Rightarrow ma{x}_{w,b}\frac{1}{||w||}mi{n}_{x_i}|w^T{x}_i+b|$$
$$\{\begin{array}{l}ma{x}_{w,b}\frac{1}{||w||}mi{n}_{x_i}{y}_i(w^T{x}_i+b)\\ st.y_i(w^T{x}_i+b)>0\end{array}$$

故 ∃r > 0, st. y_i(w^Tx_i + b) = r
$$\Rightarrow \{\begin{array}{l}max\frac{1}{||w||}mi{n}_{x_i}r\\ st.y_i(w^T{x}_i+b)>r\end{array}$$

再令 r = 1,
$$\Rightarrow \{\begin{array}{l}max\frac{1}{||w||}\\ st.y_i(w^T{x}_i+b)\ge 1\end{array}$$
$$\Rightarrow \{\begin{array}{l}min\frac{1}{2}{w}^{T}w\\ st.y_i(w^T{x}_i+b)\ge 1\end{array}$$

再得出原问题:
$$\Rightarrow \{\begin{array}{l}min\frac{1}{2}{w}^{T}w\\ st.1-y_i(w^T{x}_i+b)\le 0\end{array}$$

此时我们用一下拉格朗日乘子，将约束条件去掉:
$$\Rightarrow \{\begin{array}{l}mi{n}_{w,b}ma{x}_{\alpha }\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))\\ st.{\alpha }_i>0\end{array}$$

接下来这一步涉及对偶问题，必须在满足KTT条件的时候进行。

$$\Rightarrow \{\begin{array}{l}ma{x}_{\alpha }mi{n}_{w,b}\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))\\ st.{\alpha }_i>0\end{array}$$

min max L ≥ max min L
这里插入此题满足的KKT条件(如果想了解KKT条件，可以看后边的不等式约束优化问题的部分):
$$\Rightarrow \{\begin{array}{l}\frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial b}=0,\frac{\partial L}{\partial \alpha }=0\\ {\alpha }_i(1-y_i(w^T{x}_i+b))=0\\ {\alpha }_i>0\\ 1-y_i(w^T{x}_i+b)\le 0\end{array}$$
其中， α _i (1 - y _i (w^Tx _i + b)) = 0 是 松弛互补条件。

然后我们回到上面那个式子
$$\{\begin{array}{l}mi{n}_{w,b}ma{x}_{\alpha }\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))\\ st.{\alpha }_i>0\end{array}$$

对目标函数进行展开得到:
$$\begin{gathered} mi{n}_{w,b}L=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b)) \\ =\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^N{\alpha }_i{y}_{i}b \end{gathered}$$

令L对b的偏导为0，即

$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0$$

令L对w偏导为0， 即
$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$
$$\Rightarrow w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

我们再将上述带入到原来的目标方程中,得到
$$\begin{gathered} mi{n}_{w,b}L(w^{\ast },b^{\ast }) \\ =\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^T\sum _{j=1}^N{\alpha }_j{y}_j{x}_j+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N({\alpha }_i{y}_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j{)}^T{x}_i) \end{gathered}$$
$$\begin{gathered} =\frac{1}{2}(\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_j^T{x}_i+\sum _{i=1}^N{\alpha }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i \end{gathered}$$

在上面合并的过程中，值得一提的是 x _i^T x _j = x _j^T x _i, 不明白的读者可以自行举个例子试一下就知道了。从原理上就是两个向量响应的位置相乘，得到一个个标量，再加起来，每一个标量都是相同的，故加起来也是相同的，因此两者必定相等。

接着由上式得到去约束的原问题为
$$\{\begin{array}{l}ma{x}_{\alpha }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\alpha }_i\\ st.{\alpha }_i>0,i=1,2,...,N\end{array}$$
$$\Rightarrow \{\begin{array}{l}mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\alpha }_i\\ st.{\alpha }_i>0,i=1,2,...,N\end{array}$$

然后我们再考虑一下 b^*
由KTT条件中的 1 - y_i (w^Tx_i + b) ≤ 0 ,我们可以得到

∃(x_k, y_k), st.
1 - y_k (w^Tx_k + b) = 0
⇒ 1 = y_k (w^Tx_k + b)
两边同时乘以 y_k, 注意到二分类问题我们y的取值只有 +1和-1，故有
⇒ y_k = y_k² (w^Tx_k + b)
⇒ y_k = w^Tx_k + b

我们进而可以推出
$$\begin{gathered} b^{\ast }=y_k-w^T{x}_k \\ =y_k-(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^T{x}_k \\ =y_k-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i^T{x}_k \end{gathered}$$
最后一步转换是因为 α 和 y 都为标量。

故到这里我们知道
$$\{\begin{array}{l}{w}^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }=y_k-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i^T{x}_k\end{array}$$

最后得到最优超平面方程
$$f(x)=sign(w^{\ast T}x+b^{\ast })$$
其中，sign函数是
$$sign(x)=\{\begin{array}{l}1,ifx>0\\ 0,ifx=0\\ -1,ifx<0\end{array}$$

soft margin SVM

尽管我们已经有了hard margin SVM, 但是现实生活中并不总能保证支持向量中间没有数据点，这时候就得考虑一下soft margin SVM了。
我们有这样一种思路，如果数据点出现在支持向量中间，那么我们就对齐进行乘法，即像这种形式:
min 1/2 * w^T w + loss_function

我们针对loss_function来思考一下第一种思路。

思路1

我们来加个指示函数 q, 令 z = y_i (w^T x_i + b)
$$q=\{\begin{array}{l}1,ifz<1\\ 0,ifotherwisse\end{array}$$
即此时
l o s s _ f u n c t i o n   =   ∑ i = 1 N q { y i ( w T x i   +   b ) < 1 } loss\_function ~=~ \sum_{i=1}^{N}{q\{ y_i(w^Tx_i ~+~ b) <1\}} loss_function = i=1∑N​q{ yi​(wTxi​ + b)<1}
但是我们会发现一个问题，这样的函数 q 并不可微，原因是当 z = 1 的时候函数突变了，故函数并不连续。

思路2

我们有另一种想法，就是如果里支持向量越远那么惩罚项应该越大，故此时我们有第二种思路。
if y_i (w^T x_i + b) ≥ 1, loss = 0
if y_i (w^T x_i + b) < 1, loss = 1 - y_i(w^Tx_i + b)

令 ξ _i = 1 - y_i (w^Tx _i + b),
故原问题为
{ m i n 1 2 w T w   +   c ∑ i = 1 N m a x { 0 , ξ i } s t .     y i ( w T x i   +   b ) ≥ 1 − ξ i ξ i   ≥   0 \left\{ \begin{array}{l} min \frac{1}{2} w^Tw ~+~ c \sum_{i=1}^{N}max\{0, ξ_i \} \\ st. ~~~ y_i(w^Tx_i ~+~ b) ≥ 1 - ξ_i \\ ξ_i ~≥~ 0 \end{array} \right. ⎩⎨⎧​min21​wTw + c∑i=1N​max{ 0,ξi​}st.   yi​(wTxi​ + b)≥1−ξi​ξi​ ≥ 0​
$$\Rightarrow \{\begin{array}{l}min\frac{1}{2}{w}^{T}w+c{\sum }_{i=1}^N{\xi }_i\\ st.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,\\ {\xi }_i\ge 0\end{array}$$

因此应用拉格朗日乘子消掉约束条件得到 目标函数L 为
$$L=\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b)-{\xi }_i)+\sum _{i=1}^N{\mu }_i{\xi }_i$$
其中，α_i 和 μ_i 都是拉格朗日乘子。
我们对 w, b, ξ_i 偏导可得
$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ 0=\sum _{i=1}^N{a}_i{y}_i \\ C=a_i+{\mu }_i \end{gathered}$$
其中 第一条式子和第二条式子计算过程与硬间隔差不多。然后第三条式子的计算:
$$\frac{\partial L}{\partial {\xi }_i}=0+C-{\alpha }_i-{\mu }_i=0$$
$$\Rightarrow C={\alpha }_i+{\mu }_i$$

然后把上述结果带入到函数L中，得到
$$\begin{gathered} mi{n}_{w,b,{\xi }_i}L(w,b,\alpha ,\xi ,\mu ) \\ =\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b)-{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i \\ =\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i \\ =-\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^N{\alpha }_i{y}_i{x}_i+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^{N}C{\xi }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i \\ =-\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^N{\alpha }_i{y}_i{x}_i+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N(C-{\mu }_i-{\mu }_i){\xi }_i \\ =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \end{gathered}$$

插一句，这里u _i ξ _i前面的是符号，是为了和后面可以和 C 消掉，因为C = α_i + μ_i 。不知道对不对，还请大佬指教。

所以
$$\begin{gathered} ma{x}_{\alpha ,\mu }mi{n}_{w,b,\xi }L(w,b,\alpha ,\xi ,\mu ) \\ =ma{x}_{\alpha ,\mu }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ =ma{x}_{\alpha }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \end{gathered}$$

然后又因为
$$\begin{gathered} {\alpha }_i\ge 0 \\ {\mu }_i\ge 0 \\ C={\alpha }_i+{\mu }_i \end{gathered}$$
消去μ_i 可得等价约束条件为:
$$0\le {\alpha }_i\le C,i=1,2,...,m$$

这里满足的 KTT 条件为:
$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_{i}f(x_i)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_{i}f(x_i)-1+{\xi }_i)=0,\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$
最终，原问题是
$$\{\begin{array}{l}mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^N{\alpha }_i\\ s.t.{\sum }_{i=1}^N{\alpha }_i{\alpha }_j=0,\\ 0\le {\alpha }_i\le C\end{array}$$

Kernel SVM

经过上面对硬间隔(hard margin, 也称线性可分)和软间隔(soft margin)的学习，我们可以用SVM解决线性问题。但是非线性问题该怎么办呢？比如著名的异或问题。
前辈们想到一个好办法，把原来的数据映射(变换)到一个更高的维度，使得原来的数据可以通过超平面来划分。
这就把解决线性问题的模型拓展到了非线性的领域里去了，这种变换对应的函数称为核函数，该操作也叫核技巧（kernel trick）。

因为有些问题并不一定可以有效地求出核函数具体的表达形式，但是我们可以通过直接用核函数替换内积 x_i^T x_j直接求出，即 要计算x_i^T x_j，只要计算 K(x_i, x_j)即可，其中，K代表核函数。
前辈们总结了一些常用的核函数:

• 多项式核: k(x_i, x_j) = (x_i^T x_j + 1) ^d ,其中有些参考书是 k(x_i, x_j) = (x_i^T x_j) ^d,
  ，其中, d ≥ 1为多项式的次数
• 高斯核:
  $$k(x_i,x_j)=e^{-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2}}$$
  其中，σ > 0 为高斯核的带宽(width)
• Sigmoid核:
  $$k(x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$$
  其中，tanh为双曲正切函数，β > 0, θ < 0
  
  
  
• 拉普拉斯核:
  $$k(x_i,x_j)=e^{-\frac{||x_i-x_j||}{\sigma }}$$
  其中，σ > 0 为高斯核的带宽(width)

不等式约束优化问题

还没结束呢，朋友们。由于这里涉及到不等式的优化问题，这里我们稍微来研究一下这个KKT条件。

等式约束优化问题

我们先来看看满足条件是的等号的情况:
$$\{\begin{array}{l}minf(x)\\ s.t.g(x)=0\end{array}$$
这里我们用拉格朗日乘子法,
$$\Rightarrow L(x,\lambda )=f(x)+\lambda g(x)$$
所以原问题是
$$minL(x,\lambda )=f(x)+\lambda g(x)$$
我们分别对x, λ求偏导, 得到
$$\begin{gathered} {\nabla }_{x}L={\nabla }_{x}f(x)+\lambda g(x)=0 \\ {\nabla }_{\lambda }L=g(x)=0 \end{gathered}$$
因此
$$\lambda =-\frac{{\nabla }_{x}f(x)}{{\nabla }_{x}g(x)}$$

不等式约束优化问题

看完这个例子之后,我们来看看不等式约束优化问题.

$$\{\begin{array}{l}minf(x)\\ s.t.g(x)\le 0\end{array}$$
可行域 k ₌ {x ∈ Rⁿ | g(x) ≤ 0}
假设x^* 满足约束条件，分两种情况来讨论:

• g(x^*) < 0, 最优解位于可行域 K 的内部，称为内部解, 此时约束是无效的
• g(x^*) = 0, 最优解位于约束边界，简称边界条件。
  ∃ λ, ∇_xf = -λ∇_xg, 由于 f(x) 和 g(x)梯度相反，故 λ > 0,
  此时 λ g(x) 恒等于 0， 这个也是松弛互补条件

故这个问题的KKT条件即为:
$$\{\begin{array}{l}{\nabla }_{x}f=0,{\nabla }_{\lambda }f=0\\ g(x)\le 0\\ \lambda g(x)=0\\ \lambda \ge 0\end{array}$$

结语

由于公式繁多，难免错漏，欢迎读者批评指正。SVM作为机器学习很火的一个算法，觉得还是很值得花点时间学习的。

参考书籍: 《机器学习》，周志华, 清华大学出版社