线性可分支持向量机和硬间隔最大化

提出问题：

首先给出特征空间的训练数据集
$T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\}\tag{1}$
其中， $x_{i}\in\mathscr{X}=\mathbf{R}^{n},y_{i} \in \mathscr{Y} = \{-1,1\},i=1,2,...,N,x_{i}$ 为第i个特征向量，也称为实例。 $y_{i}$ 为特征标记， $y_{i}=1$ ,代表 $x_{i}$ 为正例； $y_{i}=-1$ ,代表 $x_{i}$ 为负例。
这里我们讨论的数据集是线性可分的。它的含义是，我们可以找到一个分离超平面，能将不同类别的实例分割开来。假设这个分割超平面可以表示为 $w\cdot x+b=0$ 。一般来说这个分割超平面是有无穷多的。这里我们的目的是要找到一个对于所有实例到分割超平面间隔最大的那个分割超平面。这就是支持向量机的目的。

线性可分支持向量机

对于给定的线性可分训练数据集，通过间隔最大化或者等价的求解相应的凸二次规划问题学习得到分离超平面为：
$w^{*}\cdot x+b^{*} = 1\tag{2}$
相应的分类决策函数：
$f(x) = sign(w^{*}\cdot x + b^{*})\tag{3}$

间隔最大化
函数间隔
：给定训练集T和超平面(w,b),定义超平面 $(w,b)$ 关于T中所有样本点 $(x_{i},y_{i})$ 的函数间隔为：
$\hat{\gamma_{i}} = y_{i}(w\cdot x_{i} +b)\tag{4}$
定义最小函数间隔：
$\hat{\gamma} = \underset{i=1,...,N}{min}\hat{\gamma_{i}}\tag{5}$
几何间隔
：点 $x_{i}$ 到分离超平面的距离。记为 $\gamma_{i}$ .
$\gamma_{i} = \frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||}\tag{6}$
其中，|||w||为w的 $L_{2}$ 范数。如果点在超平面的负的一侧，即 $y_{i}=-1$ ,点到超平面的距离可以表示为：
$\gamma_{i} = -\frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||}\tag{7}$
当样本点 $(x_{i},y_{i})$ 被超平面(w,b)正确分类时，点 $x_{i}$ 与超平面(w,b)的距离是：
$\gamma_{i} = y_{i}(\frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||})\tag{8}$
式(8)就是几何间隔。找到最小几何间隔：
$\gamma = \underset{i=1,...,N}{min}\gamma_{i}\tag{9}$
函数间隔与几个间隔有如下的关系：
$\gamma_{i} = \frac{\hat{\gamma_{i}}}{||w||}\\ \gamma = \frac{\hat{\gamma}}{||w||}\tag{10}$
间隔最大化
最大间隔分离超平面
将最大间隔分离超平面表示为下面的约束最优化问题：
$\underset{w,b}{max}\; \gamma\\ s.t.\; y_{i}(\frac{w}{||x||}\cdot x_{i}+\frac{b}{||w||})\geq\hat{\gamma},\;i=1,2,...,N\tag{11}$
考虑函数间隔和几何间隔的关系，将问题11进行转换
$\underset{w,b}{max}\; \frac{\hat{\gamma}}{||w||}\\ s.t.\; y_{i}(w\cdot x_{i}+b)\geq\hat{\gamma},\, i = 1,2,..,N\tag{12}$
可知
$\hat{\gamma}$ 的取值并不影响问题12的结果。所以我们取 $\hat{\gamma} = 1$ 。
最优化问题 $max\;\frac{1}{||w||}$ 和最优化问题 $min\;\frac{1}{2}||w||^{2}$ 是等价的。
所有问题12再次转换为：
$\underset{w,b}{min}\, \frac{1}{2}||w||^{2}\\ s.t.\;\;\; y_{i}(w\cdot x_{i}+b)-1\geq0,\; 1=1,2,...,N\tag{13}$
问题13是一个凸二次规划的问题¹。

总结

线性可分支持向量机学习算法——最大间隔法

输入：线性可分数据集 $T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\}$ ,其中， $x_{i}\in\mathscr{X}=\mathbf{R}^{n},y_{i} \in \mathscr{Y} = \{-1,1\},i=1,2,...,N.$
输出：最大间隔分离超平面和分类决策函数.

构造并求解约束最优化问题：
$\underset{w,b}{min}\, \frac{1}{2}||w||^{2}\\ s.t.\;\;\; y_{i}(w\cdot x_{i}+b)-1\geq0,\; 1=1,2,...,N$
求解得到 $w^{*},b^{*}$ .
有此得到分离超平面：
$w^{*}\cdot x + b^{*} = 0\\$
分类决策函数
$f(x) = sign(w^{*}\cdot x+b^{*})$

学习的对偶算法

将问题13作为原始最优化问题，应用拉格朗日对偶性²。建立拉格朗日函数，引入拉格朗日乘子 $\alpha_{i}\geq0,\, i =1,2,...,N,$ 定义拉格朗日函数：
$L(w,b,\alpha) = \frac{1}{2}||w||^{2} - \sum_{i=1}^{N}\alpha_{i}y_{i}(w\cdot x_{i}+b)+\sum_{i=1}^{N}\alpha_{i}\tag{14}$
根据拉格朗日的对偶性，原始问题的对偶问题是极小极大问题：
$\underset{\alpha}{max}\,\underset{w,b}{min}\,L({w,b,\alpha})\tag{15}$
所以为了求对偶问题的解，先对 $L(w,b,\alpha)$ 对w，b的极小，再求对 $\alpha$ 的极大。

求 $\underset{w,b}{min}\,L({w,b,\alpha})$
将拉格朗日函数分别对w,b求偏导数，并使其等于0.得到：
$\triangledown_{w}L(w,b,\alpha) = w- \sum_{i=1}^{N}\alpha_{i}y_{i}x_{i} = 0\\ \triangledown_{b}L(w,b,\alpha) = -\sum_{i=1}^{N}\alpha_{i}y_{i} = 0\tag{16}$
得：
$w = \sum_{i=1}^{N}\alpha_{i}y_{i}x_{i}\\ \sum_{i=1}^{N}\alpha_{i}y_{i} = 0\tag{17}$
将式17带入拉格朗日函数14得到：
$L(w,b,\alpha) = \frac{1}{2}\sum^{N}_{i=1}\sum^{N}_{j=1}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}\cdot x_{j}) - \sum^{N}_{i=1}\alpha_{i}y_{i}((\sum^{N}_{j=1}\alpha_{j}y_{j}x_{j})\cdot x_{i}+b)+\sum_{i=1}^{N}\alpha_{i}\\ =-\frac{1}{2}\sum^{N}_{i=1}\sum^{N}_{j=1}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}\cdot x_{j}) +\sum_{i=1}^{N}\alpha_{i}\tag{18}$
即：
$\underset{w,b}{min}\, L(w,b,\alpha) =-\frac{1}{2}\sum^{N}_{i=1}\sum^{N}_{j=1}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}\cdot x_{j}) +\sum_{i=1}^{N}\alpha_{i}\tag{19}$
求 $\underset{w,b}{min}\, L(w,b,\alpha)$ 对 $\alpha$ 的极大，即对偶问题：
$\underset{\alpha}{max}\, -\frac{1}{2}\sum^{N}_{i=1}\sum^{N}_{j=1}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}\cdot x_{j}) +\sum_{i=1}^{N}\alpha_{i}\\ s.t.\,\,\, \sum_{i=1}^{N}\alpha_{i}y_{i} = 0\\ \alpha_{i}\,\geq0,\;\; i =1,2,...,N\tag{20}$
总结
线性可分支持向量机的学习算法：
输入：线性可分数据集 $T = \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\}$ ,其中， $x_{i}\in\mathscr{X}=\mathbf{R}^{n},y_{i} \in \mathscr{Y} = \{-1,1\},i=1,2,...,N.$
输出：最大间隔分离超平面和分类决策函数.
(1)构造并求解约束最优化问题
$\underset{\alpha}{max}\, -\frac{1}{2}\sum^{N}_{i=1}\sum^{N}_{j=1}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}\cdot x_{j}) +\sum_{i=1}^{N}\alpha_{i}\\ s.t.\,\,\, \sum_{i=1}^{N}\alpha_{i}y_{i} = 0\\ \alpha_{i}\,\geq0,\;\; i =1,2,...,N$
求解得到最优解 $\alpha^{*} = (\alpha^{*}_{1},\alpha^{*}_{2},...,\alpha^{*}_{N})^{T}$ 。
（2）计算
$w^{*} = \sum_{i=1}^{N}\alpha_{i}^{*}y_{i}x_{i}$
并选择一个 $\alpha^{*}$ 大于0 的分量 $\alpha_{j}^{*}>0$ :
$b^{*} = y_{j} - \sum_{i=1}^{N}\alpha_{i}^{*}y_{i}(x_{i}\cdot x_{j})$
（3）得到分离超平面：
$w^{*}\cdot x+b^{*} =0$
分类决策函数：
$f(x) = sign(w^{*}\cdot x+b^{*})$
我们将训练数据中对应于 $\alpha_{*}>0$ 的实例点 $x_{i}\in\mathbf{R}^{n}$ 称为支持向量。

凸二次规划：https://blog.csdn.net/qq_20966795/article/details/86307097 ↩︎
拉格朗日对偶性：https://blog.csdn.net/qq_20966795/article/details/86310784 ↩︎