支持向量机（一）（线性可分支持向量机和硬间隔最大化）

支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机、线性支持向量机以及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化（hard margin maximization）学习一个线性的分类器，即线性可分支持向量机；当训练数据近似线性可分时，通过软间隔最大化也学习一个线性的分类器，即线性支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。这里先介绍线性可分支持向量机的内容。

线性可分支持向量机

考虑一个二分类问题，假设输入空间与特征空间为两个不同的空间。输入空间为欧式空间或离散集合，特征空间为欧式空间或希尔伯特空间。线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。

假设给定一个特征空间上的训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$其中，$x_i\in \mathcal{X}={\mathbb{R}}^n$， y i ∈ Y = { + 1 , − 1 } ， i = 1 , 2 , . . . , N y_i\in \mathcal{Y}=\{+1,-1\}，i=1,2,...,N yi​∈Y={ +1,−1}，i=1,2,...,N。假设训练数据集是线性可分的。

学习目标是在特征空间中找到一个分离超平面，能将实例分到不同的类。分离超平面对应于方程 $w\cdot x+b=0$，它由法向量 $w$ 和截距 $b$ 决定，可用 $(w,b)$ 来表示。分离超平面将特征空间划分为两部分，一部分是正类，一部分是负类。

一般地，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时解有无穷多个。线性可分支持向量机利用间隔最大化求最优分离超平面，这时，解是唯一的。

考虑下图所示的二维特征空间中的分类问题。图中 ● 表示正例（$y_i=+1$），× 表示负例（$y_i=-1$）。训练数据线性可分，这时有许多直线能将两类数据正确划分。线性可分支持向量机对应着将两类数据正确划分并且间隔最大的直线。

函数间隔和几何间隔

在上图中，有 $A，B，C$ 三个点，表示三个实例，均在分离超平面的正类一侧，预测它们的。点 $A$ 距分离超平面较远，若预测该点为正类，就比较确信预测是正确的；点 $C$ 距分离超平面较近，若预测该点为正类，就不那么确信；点 $B$ 位于点 $A$ 和 点 $C$ 之间，预测其为正类的确信度也在 $A$ 与 $C$ 之间。

在超平面 $w\cdot x+b=0$ 确定的情况下，$|w\cdot x+b|$ 能够相对地表示点 $x$ 距离超平面的远近。而 $w\cdot x+b$ 的符号与类标记 $y$ 的符号是否一致能够表示分类是否正确，所以可用量 $y(w\cdot x+b)$ 来表示分类的正确性及确信度，这就是函数间隔的概念。

定义：对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的函数间隔为 $${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$定义超平面关于训练数据集 $T$ 的函数间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点的函数间隔最小值，即$$\hat{\gamma }=\underset{i=1,2,\cdots ,N}{\min }{\hat{\gamma }}_i$$

函数间隔可以表示分类预测的正确性及确信度。但是选择超平面时，只有函数间隔还不够。因为只要成比例的改变 $w$ 和 $b$，超平面不会发生改变，但函数间隔却会相应的成比例改变。因此，我们可以对超平面的法向量 $w$ 加某些约束，如规范化，$\Vert w\Vert$，使得间隔是确定的。这时函数间隔成为几何间隔。

下图给出了超平面 $(w,b)$ 及其法向量 $w$。点 $A$ 表示某一实例 $x_i$，其类标记为 $y_i=+1$。点 $A$ 与超平面的距离由线段 $AB$ 给出，记作 ${\gamma }_i$：
$${\gamma }_i=\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }$$其中，$\Vert w\Vert$ 是 $w$ 的 $L_2$ 范数。如果点 $A$ 在超平面负的一侧，即 $y_i=-1$，那么点与超平面的距离为
$${\gamma }_i=-\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$

一般地，当样本点 $(x_i,y_i)$ 被超平面 $(w,b)$ 正确分类时，点 $x_i$ 与超平面 $(w,b)$ 的距离是（几何间隔）
$${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$

定义：对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的几何间隔为 $${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$定义超平面关于训练数据集 $T$ 的几何间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点的几何间隔最小值，即$$\gamma =\underset{i=1,2,\cdots ,N}{\min }{\gamma }_i$$

函数间隔和几何间隔有下面的关系：
$$\begin{gathered} {\gamma }_i=\frac{{\hat{\gamma }}_i}{\Vert w\Vert } \\ \gamma =\frac{\hat{\gamma }}{\Vert w\Vert } \end{gathered}$$

间隔最大化

间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。

下面考虑如何求得一个几何间隔最大的分离超平面，即最大间隔分离超平面。具体地，这个问题可以表示为下面的约束最优化问题：
$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & \text{s.t.}{y}_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)\ge \gamma ,i=1,2,\cdots ,N\end{array}$$
即我们希望最大化超平面关于数据集的集合间隔 $\gamma$， 约束条件表示的是超平面关于每个训练样本的几何间隔至少是 $\gamma$。考虑几何间隔和函数间隔的关系式，可将上述最优化问题改写为
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }\\ & \text{s.t.}{y}_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$
函数间隔 $\hat{\gamma }$ 的取值并不影响最优化问题的解，取 $\hat{\gamma }=1$，并注意到最大化 $\frac{1}{\Vert w\Vert }$ 和最小化 $\frac{1}{2}\Vert w{\Vert }^2$ 是等价的，于是可以得到下面的线性可分支持向量机学习的最优化问题：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & \text{s.t.}{y}_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N\end{array}$$
这是一个凸二次规划问题。如果求出了该问题的解 $w^{\ast },b^{\ast }$，那么就可以得到最大间隔分离超平面 $w^{\ast }\cdot x+b^{\ast }=0$。

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。支持向量是使约束条件式 (6) 等号成立的点，即
$$y_i(w\cdot x_i+b)-1=0$$
对 $y_i=+1$ 的正例点，支持向量在超平面
$$H_1:w\cdot x+b=1$$
对 $y_i=-1$ 的负例点，支持向量在超平面
$$H_2:w\cdot x+b=-1$$

下图所示，在 $H_1$ 和 $H_2$ 上的点就是支持向量。

注意到 $H_1$ 和 $H_2$ 平行，并且没有实例点落在它们中间。在 $H_1$ 和 $H_2$ 之间形成的长带宽度称为间隔，间隔依赖于分离超平面的法向量，等于 $\frac{2}{\Vert w\Vert }$。$H_1$ 和 $H_2$ 称为间隔边界。

在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。由于支持向量在确定分离超平面中起着决定性作用，所以将这种分类模型称为支持向量机。

例子：

一个训练数据集，其正例点是 $x_1=(3,3),x_2=(4,3)$，负例点是 $(1,1)$，试求最大间隔分离超平面。

根据训练集构造约束最优化问题：

$$\begin{array}{rlr}& \underset{w,b}{\min }\frac{1}{2}(w_1^2+w_2^2)& \\ \text{s.t.}& & 3w_1+3w_2+b\ge 1\\ & & 4w_1+3w_2+b\ge 1\\ & & -w_1-w_2-b\ge 1\end{array}$$

求得此最优化问题的解 $w_1=w_2=\frac{1}{2},b=-2$，于是最大间隔分离超平面为
$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$
其中，$x_1=(3,3)$ 与 $x_3=(1,1)$ 为支持向量。

学习的对偶算法

为了求解线性可分支持向量机的最优化问题（式 (5)、式(6)），将它作为最原始的最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是线性可分支持向量机的对偶算法。

首先构建拉格朗日函数。为此，对每一个不等式约束引入拉格朗日乘子 ${\alpha }_i\ge 0$:
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$所以，为了得到对偶问题的解，需要先求 $L(w,b,\alpha )$ 对 $w,b$ 的极小，再求对 $\alpha$ 的极大。

1. 求 ${\min }_{w,b}L(w,b,\alpha )$
   
   将拉格朗日函数 $L(w,b,\alpha )$ 分别对 $w,b$ 求偏导并令其导数为 0 $${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$ $${\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$ 得： $$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$ $$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
   将 上两式带入拉格朗日函数 $L(w,b,\alpha )$ 中，可得 $$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
2. 求 ${\min }_{w,b}L(w,b,\alpha )$ 对 $\alpha$ 的极大，即对偶问题
   $$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ & \text{s.t.}\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
   将上式的目标函数由求极大值转换成求极小值，就得到下面与之等价的对偶最优化问题：$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & \text{s.t.}\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

---

References

[1] 《机器学习方法》，李航，清华大学出版社。