机器学习笔记—支持向量机（SVM）

机器学习算法—支持向量机（support vector machine，SVM）

算法描述

线性SVM
给定训练样本集 $D=\{(x_1,y_1),(x_2,y_2),\cdot\cdot\cdot,(x_m,y_m)\}，y\in\{-1,+1\}$，分类学习的基本思想就是基于训练集D在样本空间寻找一个划分超平面，将不同类别的样本区别开。因此重点就是如何寻找最优的划分超平面。

在样本空间中，划分超平面可通过如下线性方程来描述： $\omega^Tx+b=0$样本空间中任一点 $x$到超平面 $(\omega,b)$的距离 $\gamma$可写成： $\gamma=\frac{|\omega^Tx+b|} {||\omega||}$假设超平面 $(\omega,b)$能够对样本 $(x_i,y_i)$正确分类，那么有 $\begin{cases} \omega^Tx_i+b>0，y_i=+1 \\ \omega^Tx_i+b<0，y_i=-1\end{cases}$为了增强分类器的鲁棒性，我们令 $\begin{cases} \omega^Tx_i+b\geq+1，y_i=+1 \\ \omega^Tx_i+b\leq-1，y_i=-1\end{cases}$使得上式等号成立的样例称之为“支持向量(support vector)”。
两个异类支持向量到超平面的距离之和称为间隔(margin) $\gamma$： $\gamma=\frac{2} {||\omega||}$

间隔最大化
支持向量机的思想思想就是寻找一超平面，使得间隔最大化。因此可获得支持向量机的优化目标为：
$\begin{array}{} \underset {\omega,b} {max} & \frac{2}{||\omega||} \\ \text{s.t.}& y_i( \omega^Tx_i+b)\geq1 \\ &i=1,2,...m. \end{array}$引入二范数，上述优化问题等价于
$\begin{array}{} \underset {\omega,b} {min} & \frac{1}{2} ||\omega||^2 \\ \text{s.t.}& y_i( \omega^Tx_i+b)\geq1 \\ &i=1,2,...m. \end{array}$对偶SVM
上式是一个有约束的二次规划问题，引入拉格朗日乘子 $\alpha$，当 $\alpha\geq0$时，可构造拉格朗日函数 $L(\omega,b,\alpha)$: $L(\omega,b,\alpha)=\frac{1} {2} ||\omega||^2+\sum_{i=1}^m \alpha_i(1-y_i( \omega^Tx_i+b))$分别对 $\omega,b,\alpha$求导等于0可得：