要解决的问题:找一个决策边界,决策边界就是离边界上的点最远的平面。
一. 点到直线的距离:
假设平面为 ,x'为平面的点,则Wt*x'=-b
W为法向量,x到平面的距离:
不理解可以看下这个博客:http://www.cnblogs.com/graphics/archive/2010/07/10/1774809.html
二. 数据标签定义
数据集为(x1,y1)(x2,y2)...(xn,yn)
y为样本类别:当X为正例,Y=+1,当X为负例,Y=-1。X为这个数据(x1,y1)
决策方程:y(x)=
=》y(xi)>0 《=》yi=+1 =》 yi*y(xi)>0
y(xi)<0 《=》yi=-1
三. 开始正式SVM:
优化目标:找一条线(w和b),使得边界上的点(离该线最近的点)能够最远。
将点到直线的距离化简:
因为yi*y(xi)>0
则优化目标为:
其中min部分为寻找到决策面最近的点,max部分使该点到决策面的距离最远。
我们可以采用放缩变换使得,则优化目标函数就变为
(1)SVM目标函数就为:
一般套路:将求极大值转换为求极小值 ,用拉格朗日乘子法求解,
假设
如果fi(x) > 0,则thetap(x)->正无穷,如果hi(x)不等于0,则可有baita使得thetap(x)->正无穷,
如果满足约束条件,则thetap(x)=f(x),所以转换为求极小化问题与原来约束式子等价。
根据对偶性:
(2)SVM求解:
这里将a1等于0带入目标函数
b的求法是对偶性原理的问题 可参考李航统计学习P109
支持向量:发挥作用的数据点,
四. soft-margin
软间隔:有了噪音点 放松一下条件
五. 核函数
低纬不可分映射到高维去划分。
还是在低纬计算,名义上映射到高维去