机器学习与高维信息检索 - Note 8 - 支持向量机（Support Vector Machines）

Note 8 支持向量机（Support Vector Machines）

支持向量机背后的想法是非常简单的。在最简单的情况下，我们假设两个类的样本可以线性分离，也就是说，我们假设存在一个可以分离两个类的二维仿射超平面。SVM是有监督的学习算法，在给定两类的训练样本时，它可以找到 "最佳 "分离超平面。一旦找到它，就很容易对新的数据点进行分类。根据传入的新数据点位于超平面的哪一侧，它被分配到相应的类别。

8.1 SVM的几何学基础

对于一些$\mathbf{w}\in {\mathbb{R}}^p$和一些非负的$b\ge 0$，${\mathbb{R}}^p$中的仿射超平面被定义为集合

$${\mathcal{H}}_{\mathbf{w},b}:=\left\{\mathbf{x}\in {\mathbb{R}}^p\mid {\mathbf{w}}^{\top }\mathbf{x}-b=0\right\}.\text{\hspace{1em}(8.1)}$$
向量$\mathbf{w}$是法线，或者说垂直于${\mathcal{H}}_{\mathbf{w},b}$，因为只要我们在超平面上有一个任意的线段${\mathrm{x}}_2-{\mathrm{x}}_1$，在${\mathrm{x}}_1,{\mathrm{x}}_2\in {\mathcal{H}}_{\mathrm{w},b}$，则

$${\mathbf{w}}^{\top }\left({\mathbf{x}}_2-{\mathbf{x}}_1\right)=0.\text{\hspace{1em}(8.2)}$$

由此也很容易得出两个仿射超平面${\mathcal{H}}_{\mathbf{w},b},{\mathcal{H}}_{\tilde{\mathbf{w}},\tilde{b}}$是平行的，当且仅当$\mathbf{w}$是$\tilde{\mathbf{w}}$的倍数。

${}^1$ 这源于所谓的超平面分离定理，该定理主要说明两个不相交的凸集可以被一个超平面所分离。这个证明可以追溯到著名的赫尔曼-闵可夫斯基（1864-1909）。

任何超平面都将${\mathbb{R}}^p$完全分离在两个半空间${}^1$。从某个点$\mathbf{x}$到${\mathcal{H}}_{\mathbf{w},b}$的有符号距离定义为

$$\delta \left(\mathbf{x},{\mathcal{H}}_{\mathbf{w},b}\right)=\frac{{\mathbf{w}}^{\top }\mathbf{x}-b}{\Vert \mathbf{w}\Vert }.\text{\hspace{1em}(8.3)}$$

这个定义的理由是因为以下的Lemma。

Lemma $8.1$ 有符号的仿射超平面距离 (Signed distance to affine hyperplanes)

从$\mathrm{x}$到${\mathcal{H}}_{\mathbf{w},b}$的欧氏距离由$\left|\delta \left(\mathbf{x},{\mathcal{H}}_{\mathbf{w},b}\right)\right|$决定。

Proof.
我们用一些几何学的直觉来证明。假设从$\mathbf{x}$开始，我们想沿着$\mathbf{r}$方向向超平面移动。为了找到最短的距离，我们必须解决

$$\min \Vert \mathbf{r}\Vert \text{ s.t. }\mathbf{x}+\mathbf{r}\in {\mathcal{H}}_{\mathbf{w},b}\text{\hspace{1em}(8.4)}$$

这里的约束条件相当于$(\mathbf{x}+\mathbf{r}{)}^{\top }\mathbf{w}=b$，或

$${\mathbf{r}}^{\top }\mathbf{w}=b-{\mathbf{x}}^{\top }\mathbf{w}.\text{\hspace{1em}(8.5)}$$

从这个等式可以看出，解决（8.4）的$\mathbf{r}$必须是$\mathbf{w}$的倍数。我们在下文中证明这一点。假设$\mathbf{r}$不是$\mathbf{w}$的倍数。那么对于${\mathbf{w}}_i^{\perp }$正交于$\mathbf{w}$，我们总是可以把它写成$\mathbf{r}=\lambda \mathbf{w}+{\sum }_i{\mu }_i{\mathbf{w}}_i^{\perp }$。由于正交性，${\left(\lambda \mathbf{w}+{\sum }_i{\mu }_i{\mathbf{w}}_i^{\perp }\right)}^{\top }\mathbf{w}=\lambda {\mathbf{w}}^{\top }\mathbf{w}$成立，同时根据三角不等式有$\Vert \mathbf{r}\Vert \ge \Vert \lambda \mathbf{w}\Vert$。

这个观察结果产生了最小化问题，

$$\underset{\lambda }{\min }\Vert \lambda \mathbf{w}\Vert \text{ s.t. }\lambda \Vert \mathbf{w}{\Vert }^2=b-{\mathbf{x}}^{\top }\mathbf{w}\text{\hspace{1em}(8.6)}$$

它的解是有符号的距离的绝对值

$$\frac{\left|{\mathbf{w}}^{\top }\mathbf{x}-b\right|}{\Vert \mathbf{w}\Vert }=\left|\delta \left(\mathbf{x},{\mathcal{H}}_{\mathbf{w},b}\right)\right|\text{\hspace{1em}(8.7)}$$

很容易看出，与超平面的有符号距离在一半空间中是正的，而在另一半空间中是负的。我们把${\mathcal{H}}_{\mathbf{w},b}$的边际定义为接近${\mathcal{H}}_{\mathbf{w},b}$的点的集合。更确切地说，让

$$\begin{array}{r}{\mathcal{H}}_{+}:=\left\{\mathbf{x}\in {\mathbb{R}}^p\mid {\mathbf{w}}^{\top }\mathbf{x}-b=1\right\}\\ {\mathcal{H}}_{-}:=\left\{\mathbf{x}\in {\mathbb{R}}^p\mid {\mathbf{w}}^{\top }\mathbf{x}-b=-1\right\}\end{array}\text{\hspace{1em}(8.8;8.9)}$$

是两个平行于${\mathcal{H}}_{\mathbf{w},b}$的仿射超平面。那么${\mathcal{H}}_{\mathbf{w},b}$的边际被定义为${\mathcal{H}}_{+}\cup {\mathcal{H}}_{-}$的凸包（convex hull）。

使用Lemma 8.1，我们可以看到这个边际的厚度，即${\mathcal{H}}_{+}$和${\mathcal{H}}_{-}$之间的距离，是由$\frac{2}{|\mathbf{w}\Vert }$给出。因此，如果我们想找到一个仿射超平面${\mathcal{H}}_{\mathbf{w},b}$，允许 "最好 "地分离两类数据点，如果我们通过允许最大的余量来量化 “最好”，同时仍然防止数据点落在这个余量之内，我们将不得不在一些约束条件下最大化$\frac{2}{\Vert \mathbf{w}\Vert }$，这使我们想到线性SVM。

8.2 基础的线性SVM（Basic Linear SVM）

如上所述，SVM是一种有监督的学习方法，所以我们从$N$标记的训练数据开始， ( x i , y i ) ∈ R p × { − 1 , 1 } , i = 1 , … , N \left(\mathbf{x}_{i}, y_{i}\right) \in \mathbb{R}^{p} \times\{-1,1\}, i=1, \ldots, N (xi​,yi​)∈Rp×{ −1,1},i=1,…,N。这里，$y_i$为$1$或$-1$，表示数据属于两类中的哪一类。对于线性SVM，我们必须假设这个数据确实是线性可分离的，也就是说，我们必须假设存在一个将两个类分开的仿射超平面${\mathcal{H}}_{\mathrm{w},b}$。没有数据点位于${\mathcal{H}}_{\mathbf{w},b}$的边际内，这一约束相当于要求所有属于$y_i=1$的点与${\mathcal{H}}_{+}$的距离为正，而所有属于$y_i=-1$的数据与${\mathcal{H}}_{-}$的距离为负，即。

$$\begin{array}{ll}{\mathbf{w}}^{\top }{\mathbf{x}}_i-b\ge +1& \text{ for }{y}_i=+1\\ {\mathbf{w}}^{\top }{\mathbf{x}}_i-b\le -1& \text{ for }{y}_i=-1\end{array}\text{\hspace{1em}(8.10)}$$

这可以更简洁地写成
$$y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)\ge 1\text{ for all }i=1,\dots ,N\text{\hspace{1em}(8.11)}$$

因此，寻找允许最大余量的仿射超平面的任务，同时仍然分离两个类，由优化问题来描述
$$\max \frac{2}{\Vert \mathbf{w}{\Vert }^2}\text{ s.t. }{y}_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)\ge 1\text{ for all }i=1,\dots ,N\text{\hspace{1em}(8.12)}$$

或者等价地，以
$$\min \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\text{ s.t. }{y}_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)\ge 1\text{ for all }i=1,\dots ,N\text{\hspace{1em}(8.13)}$$

为了解决这个受限的优化问题，我们需要为这些类型的问题引入优化条件。

8.2.1 Karush-Kuhn-Tucker条件

我们参考J.Nocedal和S.J.Wright的教科书《数值优化》（Numerical Optimization）第二版，Springer 2006，以了解对优化主题的更详细的见解。考虑一般问题
$$\begin{array}{rl}{\min }_{\mathbf{z}\in {\mathbb{R}}^n}& f(\mathbf{z})\\ \text{ s.t. }& c_i(\mathbf{z})=0\text{ for }i\in \mathcal{E}\\ & \text{ and }{c}_j(\mathbf{z})\ge 0\text{ for }j\in \mathcal{I}\end{array}\text{\hspace{1em}(8.14)}$$

与平滑实值函数$f,c_i$。这里$\mathcal{E}$代表等式约束（equality constraint），$\mathcal{I}$代表不等式约束(inequality constraint)。对于某个满足约束条件的点z，我们将其活动集定义为$\mathcal{A}(\mathbf{z})=\mathcal{E}$。换句话说，$\mathcal{A}(\mathbf{z})$是$\mathbf{z}$正好满足平等条件的所有约束的索引。

优化问题（8.15）的拉格朗日函数由以下公式给出
$$L(\mathbf{z},\mathbf{\lambda })=f(\mathbf{z})-\sum _{i\in \mathcal{I}\cup \mathcal{E}}{\lambda }_i{c}_i(\mathbf{z})\text{\hspace{1em}(8.15)}$$

定理8.2 Karush-Kuhn-Tucker（KKT）条件 (Karush-Kuhn-Tucker (KKT) conditions)

设${\mathbf{z}}^{\star }$为（8.15）的解。在约束函数${}^2$的某些条件下，存在一个Lagrange乘数${\mathbf{\lambda }}^{\star }$，使得

$$\begin{array}{rl}{\nabla }_{\mathbf{z}}L\left({\mathbf{z}}^{\star },{\mathbf{\lambda }}^{\star }\right)& =0\\ c_i\left({\mathbf{z}}^{\star }\right)& =0\text{ for }i\in \mathcal{E}\\ c_i\left({\mathbf{z}}^{\star }\right)& \ge 0\text{ for }i\in \mathcal{I}\\ {\lambda }_i^{\star }& \ge 0\text{ for }i\in \mathcal{I}\\ {\lambda }_i^{\star }{c}_i\left({\mathbf{z}}^{\star }\right)& =0\text{ for }i\in \mathcal{I}\cup \mathcal{E}\end{array}\text{\hspace{1em}(8.16-8.21)}$$

由于SVM的优化问题是凸的（一个凸的目标函数和定义了一个凸的可行区域的约束条件），KKT条件是${\mathbf{z}}^{\star },{\mathbf{\lambda }}^{\star }$成为一个解决方案的必要和充分条件。最后一个条件意味着，要么约束条件$i$在活动集合中，要么拉格朗日乘数的第$i$分量为零，或者可能两者都是。

${}^2$这在它们是线性的情况下是被满足的，所以特别是对于线性SVM的情况。

8.2.2 拉格朗日对偶性 (Lagrangian Duality)

像以前一样，我们将考虑一般的优化问题

$$\min f(\mathbf{z})\text{ s.t. }{c}_i(\mathbf{z})=0,i\in \mathcal{E},c_j(\mathbf{z})\ge 0,j\in \mathcal{I}$$

这也被称为原始问题。相应的拉格朗日函数被定义为
$$L(\mathbf{z},\mathbf{\lambda })=f(\mathbf{z})-\sum _{i\in \mathcal{I}\cup \mathcal{E}}{\lambda }_i{c}_i(\mathbf{z})$$

带有拉格朗日乘数（也称为对偶变量）${\lambda }_i\ge 0$。基于拉格朗日函数，我们可以创建一个新的函数，为目标函数$f$提供一个下限。由于对偶变量都是正数，即${\lambda }_i\ge 0$，我们知道$f(\mathbf{z})\ge$ $L(\mathbf{z},\mathbf{\lambda })$对于所有可行的$\mathbf{z}$。这就促使拉格朗日对偶函数的定义为

$$g(\mathbf{\lambda })=\underset{\mathbf{z}}{\inf }L(\mathbf{z},\mathbf{\lambda })=\underset{\mathbf{z}}{\inf }\left(f(\mathbf{z})-\sum _{i\in \mathcal{I}\cup \mathcal{E}}{\lambda }_i{c}_i(\mathbf{z})\right)\text{\hspace{1em}(8.22)}$$

对偶函数$g(\cdot )$是凹的，即使原来的问题不是凸的，因为它是仿射函数的逐点下确界（point-wise infimum of affine functions）。对偶形式产生了目标函数$f$的最优值$p^{\star }$的下限。对于任何$\mathbf{\lambda }\ge 0$，我们有$g(\mathbf{\lambda })\le p^{\star }$。

拉格朗日对偶问题是最大化问题

$$\underset{\mathbf{\lambda }}{\max }g(\mathbf{\lambda })\text{ s.t. }{\lambda }_i\ge 0$$

在某些条件下（在SVM的情况下成立），原始问题的最小值与对偶问题的最大值重合，即$d^{\star }=\max g(\mathbf{\lambda })=$ ${\inf }_{\mathbf{z}}f(\mathbf{z})=p^{\star }$。这被称为强对偶性。

Remark
对偶性使我们能够使用凸优化来计算任何问题的最优值的下限，无论是否凸，都可以。然而，对偶函数$g$可能不容易计算，因为它本身被定义为一个优化问题。当$g$可以写成封闭形式时，使用对偶性效果最好。即使如此，也可能不容易找到对偶问题的解决方案，因为不是所有的凸问题都容易解决。

8.2.3 线性SVM: 原始和对偶问题 (Linear SVM: Primal and Dual Problem)

根据这一动机，对于手头的问题，我们必须解决以下问题
$$\begin{array}{c}\underset{\mathbf{w},b,\mathbf{\lambda }\ge 0}{\min }L(\mathbf{w},b,\mathbf{\lambda })\\ \text{ with }L(\mathbf{w},b,\mathbf{\lambda })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _i{\lambda }_i\left(y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)-1\right)\\ =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _i{\lambda }_i{y}_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)+\sum _i{\lambda }_i\end{array}\text{\hspace{1em}(8.23-25)}$$

这个问题是严格凸的，因此，如果它存在的话，它的解是唯一的。拉格朗日函数的梯度与优化参数（$w,b$ ）的关系为

$${\nabla }_{(\mathbf{w},b)}L(\mathbf{w},b,\lambda )=\left[\begin{array}{c}\mathbf{w}-{\sum }_i{\lambda }_i{y}_i{\mathbf{x}}_i\\ {\sum }_i{\lambda }_i{y}_i\end{array}\right]\text{\hspace{1em}(8.26)}$$

因此，KKT条件$（8.17）$和$（8.21）$得到

$$\begin{array}{r}{\mathbf{w}}^{\star }-{\sum }_i{\lambda }_i^{\star }{y}_i{\mathbf{x}}_i=0\\ {\sum }_i{\lambda }_i^{\star }{y}_i=0\\ {\lambda }_i^{\star }\left(y_i\left({\left({\mathbf{w}}^{\star }\right)}^{\top }{\mathbf{x}}_i-b^{\star }\right)-1\right)=0.\end{array}\text{\hspace{1em}(8.27-29)}$$

这意味着解决方案${\mathbf{w}}^{\star }$是接触边界超平面的点的线性组合，即那些位于${\mathcal{H}}_{+}$和${\mathcal{H}}_{-}$中的点。这些点就是名称上的支持点或向量。

现在我们可以用这些方程推导出一个简单的方法来寻找所需的最佳超平面参数${\mathbf{w}}^{\star }$和$b^{\star }$。首先将$(8.27)$和(8.28)代入(8.25)，得到(为提高可读性而省略${}^{\star }$)方程

$$\begin{array}{rl}& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _i{\lambda }_i{y}_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)+\sum _i{\lambda }_i\\ =& \frac{1}{2}\sum _{i,j}{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j-\sum _{i,j}{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j+\sum _i{\lambda }_i{y}_{i}b+\sum _i{\lambda }_i\\ =& \sum _i{\lambda }_i-\frac{1}{2}\sum _{i,j}{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j.\end{array}$$

这个只取决于$\mathbf{\lambda }$的新表述是问题的对偶形式（参见$(8.22)$），我们把它写成
$$L_D(\mathbf{\lambda })=\sum _i{\lambda }_i-\frac{1}{2}{\mathbf{\lambda }}^{\top }\mathbf{H}\mathbf{\lambda }\text{ s.t. }{\lambda }_i\ge 0,\sum _i{\lambda }_i{y}_i=0$$

其中$\mathbf{H}$的项定义为内积$h_{ij}=y_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j$。 最佳的拉格朗日乘数是通过解决最大化问题找到的。

$$\underset{\lambda }{\max }\left(\sum _i{\lambda }_i-\frac{1}{2}{\mathbf{\lambda }}^{\top }\mathbf{H}\mathbf{\lambda }\right)\text{ s.t. }{\lambda }_i\ge 0,\sum _i{\lambda }_i{y}_i=0\text{\hspace{1em}(8.30)}$$

这是一个凸的二次优化问题，可以用二次程序（QP）求解器（例如Matlab中的函数quadprog）来解决。通过将其插入公式$(8.27)$，得到$b^{\star }$，然后通过公式$(8.29)$得到${\mathbf{w}}^{\star }$。请注意，拉格朗日乘数${\lambda }_i$对应于点${\mathbf{x}}_i$。如果${\lambda }_i$不等于零，则方程$(8.29)$意味着$y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)=1$，即相应的${\mathbf{x}}_i$是${\mathcal{H}}_{+}$或${\mathcal{H}}_{-}$的一个元素。

8.3 软边际线性SVM （Soft Margin Linear SVM）

显然，如果训练集不是线性可分离的，上述方法就会失败，因为在这种情况下，没有满足约束条件的点。为了克服这个明显的缺点，软边际$SVM$允许一些错误分配的数据样本。它在大余量和错误分类的程度之间寻找一种折衷。这种错误分类由一组$N$的额外变量${\xi }_i$来量化，这些变量被假定为非负的，从而导致了约束条件

$$y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)\ge 1-{\xi }_i\text{ for all }i=1,\dots ,N\text{\hspace{1em}(8.31)}$$

因此，为了获得一个大的余地，同时保持适度的错误分类，我们考虑优化问题

$$\begin{array}{ll}{\min }_{\mathbf{w},b,\mathbf{\xi }}& \frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2+c{\sum }_{i=1}^N{\xi }_i\\ \text{ s.t. }& y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)\ge 1-{\xi }_i\text{ and }{\xi }_i\ge 0\forall i\end{array}\text{\hspace{1em}(8.32-33)}$$

因此，为了获得一个大的余量，同时自由参数$c>0$在大的余量和错误分类之间进行权衡。选择的$c$越大，对违反分离规则的惩罚就越大。如前所述，这是一个二次规划问题，可以用QP求解器来解决。相应的KKT条件将在下面讨论。我们的软边际SVM的拉格朗日为：保持适度的错误分类，我们考虑优化问题
$$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\lambda },\mathbf{\mu })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+c\sum _i{\xi }_i-\sum _i{\lambda }_i\left(y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)-1+{\xi }_i\right)-\sum _i{\mu }_i{\xi }_i\text{\hspace{1em}(8.34)}$$

其中${\mu }_i$是为强制执行${\xi }_i$的正性而引入的Lagrange乘数。相应的KKT条件为
$$\begin{array}{r}{\nabla }_{\mathbf{w}}L=\mathbf{w}-{\sum }_i{\lambda }_i{y}_i{\mathbf{x}}_i=0\\ {\nabla }_{b}L={\sum }_i{\lambda }_i{y}_i=0\\ {\nabla }_{{\xi }_i}L=c-{\lambda }_i-{\mu }_i=0\\ y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)-1+{\xi }_i\ge 0\\ {\xi }_i\ge 0\\ {\lambda }_i\ge 0\\ {\mu }_i\ge 0\\ {\lambda }_i\left(y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)-1+{\xi }_i\right)=0\\ {\mu }_i{\xi }_i=0\end{array}\text{\hspace{1em}(8.35-43)}$$

虽然一个QP求解器已经可以找到这个问题的解决方案，但我们现在将推导出相应的对偶形式，因为它的外观与可分离问题非常相似。另外，为了将SVM扩展到与核一起工作，需要对偶形式。首先，注意方程$(8.37)$意味着${\mu }_i=c-{\lambda }_i.$ 将其插入方程$(8.34)$中，我们已经可以消除${\mu }_i$的依赖性。

$$\frac{1}{2}{\mathbf{w}}^{\top }\mathbf{w}-\sum _i{\lambda }_i\left(y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)-1\right)\text{\hspace{1em}(8.44)}$$

接下来，我们利用$(8.35)$的事实：$\mathbf{w}={\sum }_i{\lambda }_i{y}_i{\mathbf{x}}_i$并将其代入（8.44）。通过使用属性$(8.36)$，我们得到对偶形式
$$L_D(\mathbf{\lambda })=\sum _i{\lambda }_i-\frac{1}{2}{\mathbf{\lambda }}^{\top }\mathbf{H}\mathbf{\lambda }\text{\hspace{1em}(8.45)}$$

矩阵$\mathbf{H}$的项 $h_{ij}=y_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j$ 在$0\le {\lambda }_i\le c$ 与 ${\sum }_i{\lambda }_i{y}_i=0$的约束条件下。因此，对偶问题的形式为

$$\underset{\mathbf{\lambda }}{\max }{L}_D(\mathbf{\lambda })\text{ s.t. }0\le {\lambda }_i\le c,\sum _i{\lambda }_i{y}_i=0\text{\hspace{1em}(8.46)}$$

然后，解由$\mathbf{w}={\sum }_i{\lambda }_i{y}_i{\mathbf{x}}_i$给出。因此，与可分离情况的唯一区别是${\lambda }_i$有一个上限$c$。方程$(8.37)$和$(8.43)$意味着如果${\lambda }_i<c，{\xi }_i=0$。因此，任何训练样本${\mathbf{x}}_i$（如果$0<{\lambda }_i<c$）是一个支持向量。此外，对于任何支持向量${\mathbf{x}}_i$ 方程$(8.42)$简化为$y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i-b\right)+1=0$，可以用来计算$b^{\star }$。为了得到一个更稳定的解决方案，建议使用支持区所有点的平均值。具体来说，它被定义为

$$b^{\star }=\frac{1}{N_{Supp}}\sum _{i\in Supp}\left({\left({\mathbf{w}}^{\star }\right)}^{\top }{\mathbf{x}}_i-y_i\right)\text{\hspace{1em}(8.47)}$$

其中$\mathrm{Supp}$表示支持指数，$N_{Supp}$表示支持向量的数量。

8.4 核SVM

正如我们之前看到的，对于一组训练样本 ( x i , y i ) , i = 1 , … , N , x i ∈ R p , y i ∈ { − 1 , 1 } \left(\mathbf{x}_{i}, y_{i}\right), i=1, \ldots, N, \mathbf{x}_{i} \in \mathbb{R}^{p}, y_{i} \in\{-1,1\} (xi​,yi​),i=1,…,N,xi​∈Rp,yi​∈{ −1,1} 可以改写为对偶形式

$$\begin{array}{ll}{\max }_{\lambda }& {\sum }_i{\lambda }_i-\frac{1}{2}{\mathbf{\lambda }}^{\top }\mathbf{H}\mathbf{\lambda }\\ \text{ s.t. }& 0\le {\lambda }_i\le c,{\sum }_i{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(8.48)}$$

带有Gram 矩阵$\mathbf{H}$，其项定义为$h_{ij}=y_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j$。我们在关于核PCA的章节中谈到了核技巧，即使用非线性函数$\varphi$将训练样本映射到高维希尔伯特空间$\mathcal{H}$，其内积为$⟨\cdot ,\cdot {⟩}_{\mathcal{H}}$并直接用核函数$\kappa$表达内积。也就是说，核函数$\kappa$通过$\kappa (\mathbf{x},\mathbf{y})=⟨\varphi (\mathbf{x}),\varphi (\mathbf{y}){⟩}_{\mathcal{H}}$将两个点映射到$\mathbb{R}$。在这种情况下也是如此。内积 ${\mathbf{x}}^{\top }\mathbf{y}$可以用适当的核函数来代替。常见的选择是。
$$\begin{array}{ll}\kappa (\mathbf{x},\mathbf{y})={\left(\alpha {\mathbf{x}}^{\top }\mathbf{y}+\beta \right)}^{\gamma }& \text{ polynomial kernel }\\ \kappa (\mathbf{x},\mathbf{y})=\exp \left(-\Vert \mathbf{x}-\mathbf{y}{\Vert }^2/\left(2{\sigma }^2\right)\right)& \text{ radial basis function kernel }\\ \kappa (\mathbf{x},\mathbf{y})=\tanh \left(\gamma {\mathbf{x}}^{\top }\mathbf{y}-\delta \right)& \text{ sigmoid kernel }\end{array}\text{\hspace{1em}(8.49-51)}$$

且$\tanh (x)=\left(e^x-e^{-x}\right)/\left(e^x+e^{-x}\right)$。 然后使用这些核函数之一通过以下方式定义Gram矩阵的项

$$h_{ij}=y_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\text{\hspace{1em}(8.52)}$$

关于前面提到的核的一些说明。

• 在多项式核的情况下，当原始信号在${\mathbb{R}}^p$中时，希尔伯特空间$\mathcal{H}$的维度$\mathcal{H}$为$\left(\begin{array}{c}p+d\\ d\end{array}\right)$。

• 径向基函数核通常也被称为高斯核，它描述了一个非线性函数$\varphi$，它映射到一个无限维的希尔伯特空间$H.$。

• sigmoid核只在$\gamma ,\delta$的特定选择下，以及在信号的平方准则$\Vert \mathbf{x}{\Vert }^2.$的特定条件下产生一个s.p.d.核矩阵。

解决以下问题

$$\begin{array}{ll}{\max }_{\mathbf{\lambda }}& {\sum }_i{\lambda }_i-\frac{1}{2}{\mathbf{\lambda }}^{\top }\mathbf{H}\mathbf{\lambda }\\ \text{ s.t. }& 0\le {\lambda }_i\le c,{\sum }_i{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(8.53)}$$

其中$h_{ij}=y_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$提供了Lagrange系数${\mathbf{\lambda }}^{\star }$，但我们如何用这个结果对新点进行分类？首先，注意到根据线性情况下的分类规则（即用$\mathrm{sign}\left({\mathbf{w}}^{\top }\mathbf{z}-b\right)$规则对$\mathbf{z}$进行分类，我们可以用以下方式表达决策函数

$$f(\mathbf{z})=\sum _{i\in Supp}{\lambda }_i{y}_i\kappa \left({\mathbf{x}}_i,\mathbf{z}\right)-b\text{\hspace{1em}(8.54)}$$

其中$\mathrm{Supp}$表示支持度（即，对于所有$i$有 $0<{\lambda }_i\le c$）。我们根据 $f(\mathbf{z})$的符号来分配标签。

我们需要的唯一剩余成分是因子$b$。从原问题的KKT条件中，我们知道方程

$$y_i\left({⟨\varphi \left({\mathbf{x}}_i\right),\mathbf{w}⟩}_{\mathcal{H}}\right)-b)-1=0$$

对$\mathrm{Supp}$中的任何$i$都必须成立。向量$\mathbf{w}$是高维希尔伯特空间$\mathcal{H}$的一个元素，可以改写为映射的支持向量之和${\sum }_{j\in \mathrm{Supp}}{\lambda }_i{y}_i\varphi \left({\mathbf{x}}_i\right)$。将此插入前述方程可得

$$b=\sum _{j\in Supp}\left({\lambda }_j{y}_j{⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩}_{\mathcal{H}}\right)-y_i$$

对于支持中的任何$i$来说。为了使这个结果更加稳健，我们对所有可能的指数$i$进行平均，得到
$$b=\frac{1}{N_{Supp}}\sum _{i\in Supp}\left(\sum _{j\in Supp}\left({\lambda }_j{y}_j{⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩}_{\mathcal{H}}\right)-y_i\right)$$

其中$N_{Supp}$是支持向量的数量。因此，通过用核函数代替内积，我们可以计算出$b$为
$$b=\frac{1}{N_{Supp}}\sum _{i\in Supp}\left(\sum _{j\in Supp}\left({\lambda }_j{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\right)-y_i\right)\text{\hspace{1em}(8.55)}$$