统计学习方法笔记7.1

第七章 支持向量机

支持向量机（support vector machines,SVM)是一种二类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器。

7.1 线性可分支持向量机与硬间隔最大化

7.1.1 线性可分支持向量机

支持向量机的学习都是在特征空间进行的。
学习的目标：特征空间找到一个分离超平面w*x+b=0将实例分到不同的类。
感知机利用误分类最小策略求得分离超平面；线性可分向量机利用间隔最大化（凸二次规划问题）求得最优分离超平面。
so，线性可分支持向量机为：

but，间隔最大化？？

7.1.2 函数间隔和几何间隔

函数间隔：

函数间隔表示了分类预测的正确性及确信度。
函数间隔存在问题：成比例改变w和b，超平面未变，距离改变。
解决问题：对法向量w加约束——几何间隔。

函数间隔与几何间隔的关系：

7.1.3 间隔最大化

1. 最大间隔分类超平面
   几何间隔最优化问题：
   
   函数间隔最优化问题：
   
   函数间隔y的取值并不影响最优化问题，故取y=1，同时最大化问题转化为最小化问题，得到线性可分支持向量机学习的最优化问题：
   
   这是一个凸二次规划问题，至于如何求解，后面将。
   综述最大间隔法的算法流程为：
   
2. 最大间隔分离超平面的存在唯一性
   定理：训练数据集线性可分，则可将训练数据集中的样本点完全正确的最大间隔分离超平面存在且唯一。
   证明：见课本。
3. 支持向量和间隔边界
   支持向量：线性可分下，训练数据集的样本点中与分离超平面距离最近的样本点的实例，即
   间隔：正负超平面H1，H2平行，俩个超平面之间的距离称为间隔。
   间隔边界：2/||w||
   支持向量的重要性：