机器学习：SVM

一、硬间隔

样本在原始特征空间中线性可分

假设分隔超平面为

此平面要满足两点：

1.可将两类点分开：

使此不等式中等号成立的样本就是支持向量

2.超平面和的间隔r最大化

经推导

综合以上两点

求解满足①②的ω、b即可。（用拉格朗日对偶问题原理）

二、软间隔

样本大体上线性可分，但边界处有少量样本跑到对面去了

对每个样本引入松弛变量ξ

例如某个样本是+1类的，但离超平面距离-0.5，

这个样本的松弛变量ξ=1.5

所以越是偏离本类，靠近异类的样本，ξ越大。

但ξ的和一定是越小越好，所以改良①式：

C是可调的系数，叫做惩罚因子，

显然C越大，惩罚越大，越重视离群点的影响，

C越小，惩罚越小，越忽视离群点的影响。

三、非线性可分

需将原向量变换到更高维度的特征空间中，

例如：原始为二维特征（a,b）,变换为三维特征

设变换函数为φ，变换后为，

把当样本代入①②求解即可。

但是，求解过程中需要求，即在高维空间中求任意两个样本的内积，运算十分复杂甚至不可求，所以引入核函数。

核函数

只要把原始代入核函数，就可以求得高维空间中的两者内积，而不用先求和

常用的核函数：

线性核：相当于在原始特征空间中求两向量内积

多项式核

高斯核：

映射到无穷维上，σ越大，各维权重衰减越快，相当于只有少数几个维度起作用，反之则相反。

sigmoid核、拉普拉斯核

四、特点

对中小量样本还可以，大量计算量太大

对数据缺失敏感

对非线性没有通用的解决方案，核不好选。