统计学习方法读书笔记（七）-支持向量机

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

支持向量机（support vector machines, SVM）是 一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。

本文的大体内容可以参考白板推导系列笔记（六）-支持向量机和白板推导系列笔记（七）-核方法

一、线性可分的支持向量机与硬间隔最大化

支持向量机就是找到最大的间隔分离超平面。
构造一个约束最优化问题并求解

$$\{\begin{array}{c}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,N\end{array}$$

求解得到最优的$w^{\ast },b^{\ast }$
从而得到分离超平面$${w^{\ast }}^T\cdot x+b^{\ast }=0$$以及分类决策函数$$f(x)=sign({w^{\ast }}^T\cdot x+b^{\ast })$$
线性可分训练数据集的最大间隔分离超平面是存在且唯一的。

求解可以用对偶法，找寻KKT条件。

二、线性支持向量机与软间隔最大化

很多时候的数据都有一些特异点，除掉这些点以后的数据才是线性可分的，意味着就找不到一条这样的超平面将数据分离成两部分，所以我们需要引进一个松弛量${\xi }_i\ge 0$，这样约束条件就变为$$y_i(w^T\cdot x_i+b)\ge 1-{\xi }_i$$
所以$\frac{1}{2}{w}^{T}w$变成$$\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i$$这里$C>0$为惩罚参数。

三、非线性支持向量机与核函数

将低维问题转化到更高维来进行分割。

常用的核函数有：

1. 线性核函数
2. 多项式核函数
3. 高斯核函数
4. 拉普拉斯核函数
5. sigmoid核函数

四、序列最小最优化算法

下一章传送门：统计学习方法读书笔记（八）-提升方法