【机器学习】支持向量机（下）

支持向量机（下）

---

八、支持向量机的求解实例

现假设有以下 3 个数据点，我们用这些数据来阐明支持向量机是如何求解分类决策函数的：

求解：$\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{\text{x}}_i^T{\text{x}}_j-{\sum }_{i=1}^n{\lambda }_i$

约束：${\lambda }_i\ge 0,{\sum }_{i=1}^n{\lambda }_i{y}_i={\lambda }_1+{\lambda }_2-{\lambda }_3=0$

已知： x 1 = [ 3 , 3 ] T , x 2 = [ 4 , 3 ] T , x 3 = [ 1 , 1 ] T , y = { y 1 , y 2 , y 3 } = { 1 , 1 , − 1 } \text{x}_1=[3,3]^T, \hspace{2px} \text{x}_2=[4,3]^T , \hspace{2px} \text{x}_3=[1,1]^T, \hspace{2px} \text{y}=\{y_1,y_2,y_3\}=\{1,1,-1\} x1​=[3,3]T,x2​=[4,3]T,x3​=[1,1]T,y={ y1​,y2​,y3​}={ 1,1,−1}

解:

将 ${\text{x}}_1=[3,3{]}^T,{\text{x}}_2=[4,3{]}^T,{\text{x}}_3=[1,1{]}^T$ 带入 $\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{\text{x}}_i^T{\text{x}}_j-{\sum }_{i=1}^n{\lambda }_i$ 有：

$$\begin{array}{rl}& \frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{\text{x}}_i^T{\text{x}}_j-\sum _{i=1}^n{\lambda }_i\\ & =\frac{1}{2}\left(\left({\lambda }_1{\lambda }_1{\text{x}}_1^T{\text{x}}_1+{\lambda }_1{\lambda }_2{\text{x}}_1^T{\text{x}}_2-{\lambda }_1{\lambda }_3{\text{x}}_1^T{\text{x}}_3\right)+\left({\lambda }_2{\lambda }_1{\text{x}}_2^T{\text{x}}_1+{\lambda }_2{\lambda }_2{\text{x}}_2^T{\text{x}}_2-{\lambda }_2{\lambda }_3{\text{x}}_2^T{\text{x}}_3\right)+\left(-{\lambda }_3{\lambda }_1{\text{x}}_3^T{\text{x}}_1-{\lambda }_3{\lambda }_2{\text{x}}_3^T{\text{x}}_2+{\lambda }_3{\lambda }_3{\text{x}}_3^T{\text{x}}_3\right)\right)-{\lambda }_1-{\lambda }_2-{\lambda }_3\\ & =\frac{1}{2}\left(18{\lambda }_1^2+25{\lambda }_2^2+2{\lambda }_3^2+42{\lambda }_1{\lambda }_2-12{\lambda }_1{\lambda }_3-14{\lambda }_2{\lambda }_3\right)-{\lambda }_1-{\lambda }_2-{\lambda }_3\end{array}$$

将 ${\lambda }_1+{\lambda }_2-{\lambda }_3=0$ 带入上式消去 ${\lambda }_3$ 得到 $4{\lambda }_1^2+\frac{13}{2}{\lambda }_2^2+10{\lambda }_1{\lambda }_2-2{\lambda }_1-2{\lambda }_2$。

则此时要优化的条件极值可改写为： $mi{n}_{\lambda }f({\lambda }_1,{\lambda }_2)=4{\lambda }_1^2+\frac{13}{2}{\lambda }_2^2+10{\lambda }_1{\lambda }_2-2{\lambda }_1-2{\lambda }_{2}s.t.{\lambda }_i\ge 0,i=1,2$（这相当于消去了 ${\sum }_{i=1}^n{\lambda }_i{y}_i=0$）。

接下来就简单了，分别对 ${\lambda }_1,{\lambda }_2$ 求偏导并令该值为 0 可得到：${\lambda }_1=\frac{3}{2},{\lambda }_2=-1$，此解中，由于存在 ${\lambda }_2=-1<0$（不满足约束条件），故舍去。

上面的情况说明，极值点只可能出现在各条件的边界处（即，在 ${\lambda }_1=0$ 或 ${\lambda }_2=0$ 处取得）。于是：

情况 1 ：取 ${\lambda }_1=0$，则 $mi{n}_{\lambda }f(0,{\lambda }_2)=\frac{13}{2}{\lambda }_2^2-2{\lambda }_2$， 令 $\frac{\partial f}{\partial {\lambda }_2}=13{\lambda }_2-2=0$ 得到 ${\lambda }_2=\frac{2}{13}$，则 ${\lambda }_3={\lambda }_1+{\lambda }_2=\frac{2}{13}$；
情况 2 ：取 ${\lambda }_2=0$，则 $mi{n}_{\lambda }f({\lambda }_1,0)=4{\lambda }_1^2-2{\lambda }_1$， 令 $\frac{\partial f}{\partial {\lambda }_1}=8{\lambda }_2-2=0$ 得到 ${\lambda }_1=\frac{1}{4}$，则 ${\lambda }_3={\lambda }_1+{\lambda }_2=\frac{1}{4}$；

即分别在 $(0,\frac{2}{13})$ 和 $(\frac{1}{4},0)$ 处取得，比较两处的函数值：

$$f\left(0,\frac{2}{13}\right)=-\frac{2}{13}>-\frac{1}{4}=f\left(\frac{1}{4},0\right)$$

即条件极值在 $(\frac{1}{4},0)$ 处取得，此时：

$${\lambda }_1=\frac{1}{4},{\lambda }_2=0,{\lambda }_3={\lambda }_1+{\lambda }_2=\frac{1}{4}$$

将 λ = { λ 1 , λ 2 , λ 3 } \lambda=\{ \lambda_1, \lambda_2,\lambda_3 \} λ={ λ1​,λ2​,λ3​} 回代求解 $w^{\ast },b^{\ast }$：

$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^n{\lambda }_i{y}_i{\text{x}}_i\\ & ={\lambda }_1{y}_1{\text{x}}_1+{\lambda }_2{y}_2{\text{x}}_2+{\lambda }_3{y}_3{\text{x}}_3\\ & =\frac{1}{4}\times 1\times (3,3)+0\times 1\times (3,4)+\frac{1}{4}\times (-1)\times (1,1)\\ & =\left(\frac{1}{2},\frac{1}{2}\right)\end{array}$$

$$\begin{array}{rl}{b}^{\ast }& =y_j-\sum _{i=1}^n{\lambda }_i{y}_i{\text{x}}_i^T{\text{x}}_j\\ & =y_1-\left({\lambda }_1{y}_1{\text{x}}_1^T{\text{x}}_1+{\lambda }_2{y}_2{\text{x}}_2^T{\text{x}}_1+{\lambda }_3{y}_3{\text{x}}_3^T{\text{x}}_1\right)\\ & =1-\left(\frac{1}{4}\times 1\times 18+0\times 1\times 21+\frac{1}{4}\times (-1)\times 6\right)\\ & =-2\end{array}$$

进而得到决策边界为：

$$f(\text{x})=sign({w^{\ast }}^T\text{x}+b^{\ast })=sign\left(\frac{1}{2}{x}_1+\frac{1}{2}{x}_2-2\right)$$

从前面给出的图例不难看出，计算得到的决策方程与其是相对应的。

在前面的求解过程中，我们得到的 λ = { λ 1 , λ 2 , λ 3 } = { 1 4 , 0 , 1 4 } \lambda=\{\lambda_1,\lambda_2,\lambda_3\}=\left\{\frac14,0,\frac14\right\} λ={ λ1​,λ2​,λ3​}={ 41​,0,41​}。观察该系数会发现， ${\lambda }_2=0$ ，因此其对应的数据点 $(4,3)$ 并未对决策边界方程的系数 $w^{\ast }$ 产生任何影响。换言之，真正发挥作用的数据点是 ${\lambda }_i\ne 0$ 所对应的数据点。从这个角度来看，决策边界正是由少部分 ${\lambda }_i\ne 0$ 所对应的数据点（向量）所支持而得，因此称这些向量为 支持向量。

---

九、核函数

1、核函数的引入

前面提到，支持向量机默认样本数据集是线性可分的，即存在一个超平面能将两个类别的数据完全分开。然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。例如下图中，“异或” 问题就不是线性可分的：

对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。例如上图中，若将原始二维空间映射到一个更合适的三维空间，就能找到一个更合适的划分超平面。幸运的是，如果原始空间是有限维，即属性的总量有限，则一定存在一个合适的高维特征空间使样本可分。

若令 $\Phi (\text{x})$ 表示将 $\text{x}$ 映射后的特征向量，则在特征空间中划分超平面所对应的模型可表示为：

$$f(\text{x})=w^T\Phi (\text{x})+b$$

这时，便可将优化的目标方程写为：

$$\begin{array}{rl}& mi{n}_{w,b}\frac{1}{2}{w}^2\\ & s.t.y_i\left(w^T\Phi ({\text{x}}_i)+b\right)\ge 1i=1,2,\dots ,n\end{array}$$

其对应的对偶问题为：

$$\begin{array}{rl}& minL(\lambda )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\Phi ({\text{x}}_i{)}^T\Phi ({\text{x}}_j)-\sum _{i=1}^n{\lambda }_i\\ & s.t.{\lambda }_i\ge 0\\ & \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$

该式中 $\Phi ({\text{x}}_i{)}^T\Phi ({\text{x}}_j)$ 是样本 ${\text{x}}_i$ 与 ${\text{x}}_j$ 在经过高维映射后，再执行的内积运算。由于特征空间维数可能很高（甚至可能是无穷维），因此直接计 $\Phi ({\text{x}}_i{)}^T\Phi ({\text{x}}_j)$ 是相当困难的。有没有一种方法可以避免这步计算而直接得到 $\Phi ({\text{x}}_i{)}^T\Phi ({\text{x}}_j)$ 的结果呢？试想，如果存在一个函数：

$$\kappa ({\text{x}}_i,{\text{x}}_j)=\Phi ({\text{x}}_i{)}^T\Phi ({\text{x}}_j)$$

即 ${\text{x}}_i$ 与 ${\text{x}}_j$ 在特征空间的内积等于它们在原始样本空间中通过函数 $\kappa (\cdot ,\cdot )$ 计算而得的结果，那我们就不必直接去计算高维甚至无穷维特
征空间中的内积，此时就能将对偶问题改写为：

$$\begin{array}{rl}& minL(\lambda )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\kappa ({\text{x}}_i,{\text{x}}_j)-\sum _{i=1}^n{\lambda }_i\\ & s.t.{\lambda }_i\ge 0\\ & \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$

解得其对应的决策方程为：

$$\begin{array}{rl}f(\text{x})& =sign\left({w^{\ast }}^T\Phi (\text{x})+b^{\ast }\right)\\ & =sign\left(\sum _{i=1}^n{\lambda }_i{y}_i\Phi ({\text{x}}_i{)}^T\Phi (\text{x})+b^{\ast }\right)\\ & =sign\left(\sum _{i=1}^n{\lambda }_i{y}_i\kappa ({\text{x}}_i,{\text{x}}_j)+b^{\ast }\right)\end{array}$$

我们把这种转换思想称为 核技巧， $\kappa (\cdot ,\cdot )$ 称为核函数。但 $\kappa (\cdot ,\cdot )$ 真的存在么？怎样的函数又能被用作核函数呢？为此，众多数学家在几十年内前仆后继地开展了广泛研究，Schölkopf、Smola 在它们的论文中给出以下定义：设 $\chi$ 为输入空间，$\kappa (\cdot ,\cdot )$ 是定义在 $\chi \times \chi$ 上的对称函数，则 $\kappa$ 是核函数当且仅当对于任意数据 D = { x 1 , x 2 , … , x n } D=\{\text{x}_1,\text{x}_2,…,\text{x}_n\} D={ x1​,x2​,…,xn​} ，核矩阵 $\mathrm{K}$ 总是半正定的：

$$\mathrm{K}=\left[\begin{array}{ccc}\kappa ({\text{x}}_1,{\text{x}}_1)& \cdots & \kappa ({\text{x}}_1,{\text{x}}_n)\\ ⋮& \ddots & ⋮\\ \kappa ({\text{x}}_n,{\text{x}}_1)& \cdots & \kappa ({\text{x}}_n,{\text{x}}_n)\end{array}\right]$$

该式表明，只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。实际上，对于一个半正定核矩阵，总能找到一个与之对应的映射 $\Phi (\cdot \cdot )$ 。换言之，任何一个核函数都隐式地定义了一个称为 “再生核希尔伯特空间” 的特征空间。

通过前面的讨论可知，我们希望样本在特征空间内线性可分，因此特征空间的好坏对支持向量机的性能至关重要。需注意的是，在不知道特征映射的形式时，我们并不知道什么样的核函数是合适的，而核函数也仅是隐式地定义了这个特征空间。于是，“核函数选择” 成为了支持向量机的最大变数。若核函数选择不合适，则意味着将样本映射到了一个不合适的特征空间，就很可能导致性能不佳。

下面列出了几个常用的核函数：

此外，还可通过函数组合得到：

• 若 ${\kappa }_1,{\kappa }_2$ 为核函数，则对于任意正数 ${\lambda }_1,{\lambda }_2$，其线性组合 ${\lambda }_1{\kappa }_1+{\lambda }_2{\kappa }_2$ 也是核函数。
• 若 ${\kappa }_1,{\kappa }_2$ 为核函数，则核函数的直积 ${\kappa }_1⨂{\kappa }_2={\kappa }_1(\text{x},\text{y}){\kappa }_2(\text{x},\text{y})$ 也是核函数。
• 若 $\kappa$ 为核函数，则对任意函数 $g(\text{x})$，${\kappa }^{{}^{\prime }}(\text{x},\text{y})=g(\text{x})\kappa (\text{x},\text{y})g(\text{y})$ 也是核函数。

2、核函数的示例

下面通过一个实际的例子来阐述核函数的作用。

假设现在有两个数据，$\text{x}=(x_1,x_2,x_3),\text{y}=(y_1,y_2,y_3)$，此时，在三维空间已经无法对它们进行划分。那么，我们可以通过一个函数来将这个数据映射到更高维的空间。现假设将其映射至 $m^2=9$ 维空间（ $m$ 为原始数据维度），且定义映射函数为：

$$\Phi (\text{x})=(x_1{x}_1,x_1{x}_2,x_1{x}_3,x_2{x}_1,x_2{x}_2,x_2{x}_3,x_3{x}_1,x_3{x}_2,x_3{x}_3)$$

前面解得，支持向量机的决策方程为 $f(\text{x})=sign\left({\sum }_{i=1}^n{\lambda }_i{y}_i\Phi ({\text{x}}_i{)}^T\Phi (\text{x})+b^{\ast }\right)$，其中涉及内积运算。由于原始数据在经过映射后，其维度达到 9，则映射后的数据在计算内积 $⟨\Phi (\text{x}),\Phi (\text{y})⟩$ 时，需要花费 $O(m^2)$ 的时间。下面我们手动计算下这个过程：

1. 取 $\text{x}=(1,2,3),\text{y}=(4,5,6)$，则 $\Phi (\text{x})=(1,2,3,2,4,6,3,6,9),\Phi (\text{y})=(16,20,24,20,25,36,24,30,36)$；
2. 计算 $⟨\Phi (\text{x}),\Phi (\text{y})⟩=16+40+72+40+100+180+72+180+324=1024$。

现在直接取核函数 $\kappa (\text{x},\text{y})={\left(<\text{x},\text{y}>\right)}^2$，并带入数据直接计算：

$$<\Phi (\text{x}),\Phi (\text{y})>=\kappa (\text{x},\text{y})={\left(<\text{x},\text{y}>\right)}^2={\left((1,2,3)\cdot (4,5,6)\right)}^2={\left(4+10+18\right)}^2=32^2=1024$$

可以看出，两种方式计算出的结果完全相等，但利用核函数计算的复杂度为 $O(m)$，而直接计算的复杂度却为 $O(m^2)$ 。所以使用核
函数的优点就在于，可以在低维空间去完成高纬度（甚至无限维度）样本内积的计算（从而大大降低时间开销）。

---

十、软间隔

1、何为软间隔

前面提到，支持向量机默认样本数据集是线性可分的，即存在一个超平面能将两个类别的数据完全分开。然而，现实任务的样本很难找到合适的核函数来使得样本在特征空间中线性可分。退一步说，即使恰好找到了某个核函数能使得训练集在特征空间中线性可分，也很难断定这个貌似线性可分的结果不是由于过拟合所造成的。

解决该问题的一个可行思路是：允许出现一些错误，并且要使得间隔最大的同时，错误最小化。为此，引入“软间隔” (Sofft Margin) 的概念：

上图中，浅色样本表示出现的不满足约束的样本。具体来讲，前面介绍的支持向量机，是要求所有样本都必须强制满足约束条件（即：所有样本都必须划分正确），这称为 “硬间隔” (Hard Margin) ，而软间隔则是允许某些样本不满足约束：

$$y_i(w^T{\text{x}}_i+b)\ge 1$$

当然，在最大化间隔的同时，不满足约束的样本应尽可能少。

如果不引入软间隔，可能会出现的情况：

2、引入软间隔后的目标方程

引入软间隔后，可改写优化的目标方程为：

$$mi{n}_{w,b}\frac{1}{2}{w}^2+C\sum _{i=1}^n{l}_{0/1}\left(1-y_i(w^T{\text{x}}_i+b)\right)$$

其中 $C>0$ 是个常数，$l_{0/1}$ 是 0/1损失函数，其定义如下：

$$l_{0/1}(z)=\{\begin{array}{rlrl}& 1& & z<0\\ & 0& & z\ge 0\end{array}$$

仔细观察新的目标函数，当 $C$ 无穷大时，其相当于是放大了所有数据样本在分类时距划分超平面的距离，这就完全可采取硬间隔的方式进行求解。此时，该目标函数将退化为之前的目标函数；而当 $C$ 取值有限时（特别是小于 1 时），该目标函数就表达着 “允许一些样本不满足约束” 的含义，故而符合软间隔的目的。

然而 $l_{0/1}$ 是非凸、非连续函数，其数学性质不太好，这就给新的目标函数求解带来困难。于是，可以选择一些其他函数来替代 $l_{0/1}$ ，称为 “损失替代” (Surrogate Loss) 。替代损失函数一般具有较好的数学性质，如它们通常是凸的连续函数且是 $l_{0/1}$ 的上界。下面是一些常用的替代函数：

• hinge 损失：$l_{hinge}(z)=max(0,1-z)$。
• 指数损失 (Exponential loss)：$l_{exp}(z)=exp(-z)$。
• 对数损失 (Logistic loss)：$l_{log}(z)=log(1+exp(-z))$。

图像如下：

若采用 hinge 损失的方式，则目标方程变为：

$$mi{n}_{w,b}\frac{1}{2}{w}^2+C\sum _{i=1}^{n}max\left(0,1-y_i(w^T{\text{x}}_i+b)\right)$$

注：不是将 $l_{0/1}$ 换为 $l_{hinge}$，而是替换 $l_{0/1}$ 为 $max(0,f)$，其中 $f$ 为约束条件。

上式中，$C>0$ 是惩罚系数，表示损失的权重。当 $C$ 无穷大时，要使最终的损失最小就不得不使 $max(0,y_i(w^T{\text{x}}_i+b)-1)=0$，即迫使所有样本都分类正确；而当 $C$ 为一定值时，表示允许一些样本分类错误。

此时若令 ${\sum }_{i=1}^{n}max(0,y_i(w^T{\text{x}}_i+b)-1)={\sum }_{i=1}^n{\xi }_i$ ，则有以下两种情况：

• $y_i(w^T{\text{x}}_i+b)\ge 1$ 时，即样本严格满足硬间隔中的约束（此时样本绝不会被分错），则 ${\xi }_i=0$；
• 反之，样本不满足硬间隔中的约束（此时样本会分错），则 ${\xi }_i=1-y_i(w^T{\text{x}}_i+b)>0$ 。

我们称 ${\xi }_i\ge 0$ 为 松弛变量 (Slack Variables)，将该变量引入新的目标方程可得到：

$$\begin{array}{rl}& min\frac{1}{2}{w}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.y_i(w^T{\text{x}}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0i=1,2,\dots ,n\end{array}$$

这便是 “软间隔支持向量机”。
在该式中，每个样本都有一个对应的松弛变量，以表征该样本不满足约束 $y_i(w^T{\text{x}}_i+b)\ge 1$ 的程度。容易看出，这仍然是一个二次规划问题。因此，可采取和前面一样的方式找到其对偶问题，然后再通过对此对偶问题进行求解以达到对 “软间隔支持向量机” 进行求解的目的，在此就不再赘述。

---

十一、正则化

现在我们来思考，可否选择一些其他函数来替代 $l_{0/1}$ ？答案当然是可以的。例如，当采用对数损失 $l_{log}(z)=log(1+exp(-1))$ 时（称
此时的模型为对率回归模型），其输出就含有了自然概率的意义，即在给出预测标记的同时也给出了概率，而支持向量机的输出不具有概率意义，欲得到概率输出需进行特殊处理。此外，对率回归能直接用于多分类任务，支持向量机为此则需进行推广。另一方面，从上图可看出，hinge 损失有一块 “平坦” 的零区域，这使得支持向量机的解具有稀疏性，而对率损失是光滑的单调递减函数，不能导出类似支持向量的概念，因此对率回归的解依赖于更多的训练样本，其预测开销更大。

再者，我们还可以将损失函数换成别的替代损失函数以得到其他学习模型，这些模型的性质与所用的替代函数直接相关，但它们具有一个共性：优化目标中的第一项用来描述划分超平面的 “间隔” 大小，另一项 ${\sum }_{i=1}^{n}l\left(f({\text{x}}_i),y_i\right)$ 用来表述训练集上的误差，此时可将目标函数写为更一般的形式：

$$mi{n}_{w,b}\Omega (f)+C\sum _{i=1}^{n}l\left(f({\text{x}}_i),y_i\right)$$

其中，$\Omega (f)$ 称为 结构风险（Structural Risk），用于描述模型 $f$ 的某些性质；第二项 ${\sum }_{i=1}^{n}l\left(f({\text{x}}_i),y_i\right)$ 称为 经验风险（Empirical Risk），用于描述模型与训练数据的契合程度；$C$ 用于对二者进行折中。从经验风险最小化的角度来看，$\Omega (f)$ 表述了我们希望获得具有何种性质的模型（例如希望获得复杂度较小的模型），这为引入领域知识和用户意图提供了途径；另一方面，该信息有助于削减假设空间，从而降低了最小化训练误差的过拟合风险。从这个角度来说，上式被称为为 正则化（Regularization） 问题，$\Omega (f)$ 称为正则化项，$C$ 则称为正则化常数。$L_p$ 范数（Norm）是常用的正则化项目，其中 $L_2$ 范数 $||w|{|}_2$ 倾向于 $w$ 的分量取值尽量均衡，即非零分量个数尽量稠密；而 $L_0$ 范数 $||w|{|}_0$ 和 $L_1$ 范数 $||w|{|}_1$ 范数则倾向于 $w$ 的分量尽量稀疏，即非零分量个数尽量少。

---

十二、关于支持向量机的分类

最后对支持向量机按其处理数据集的不同进行分类：

• 线性可分支持向量机

  线性可分支持向量机处理的是严格线性可分的数据集。即，其学习的优化问题为：

  $$\begin{array}{rl}& mi{n}_{w,b}\frac{1}{2}{w}^2\\ & s.t.1-y_i(w^T{\text{x}}_i+b)\le 0i=1,2,\dots ,n\end{array}$$

  其划分超平面为 $w^{\ast }\cdot \text{x}+b^{\ast }=0$，对应决策函数为 $f(\text{x})=sign\left({w^{\ast }}^T\text{x}+b^{\ast }\right)$（其中 $w^{\ast },b^{\ast }$ 表示最终解得的最优解）。

• 线性支持向量机

  线性支持向量机处理的是线性不可分的数据集。其处理方式是在线性可分支持向量机的基础上加上松弛变量。其学习的优化问题为：

  $$\begin{array}{rl}& mi{n}_{w,b}\frac{1}{2}{w}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.y_i(w^T{\text{x}}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0i=1,2,\dots ,n\end{array}$$

• 非线性支持向量机

  非线性支持向量机就是在线性支持向量机中引入核函数，使其分类决策函数变为：$f(\text{x})=sign\left({w^{\ast }}^T\Phi (\text{x})+b^{\ast }\right)$

---

十三、数据标准化的影响

如果不对数据标准化，可能会导致支持向量间隔非常小（如一些极端的离群点），从而对最终的分类效果产生影响。

---

【机器学习】支持向量机（上）

END

---