首先 SVM全称 支持向量机 Support Vector Machines，嗯哼 很难以理解是吧
就是一个多维分类的机器
而且分类 还是只是两类分类
先看看最简单的二维两类分类
嗯哼哼 存在好多线可以将他们分开
如何找到最完美的一条线呢
可以有点到所有点到线上距离最小即可
然后求和
扩展
三维的就是一个平面
三维以上就是叫做超平面
设n 维空间中的超平面由下面的方程确定:
其中w和x
其空间上的任意一点到超平面上的距离为
嗯哼哼 如何判断分类是否正确
引入 y
当
当
嗯哼两者相乘同号分类正确。否则错误
故点到直线的距离可以改写为
又名为几何间隔
其中
分子部分
又称为函数间隔
在来看看什么的点容易被误分类
往往是距离超平面特别近的点容易被误分类
所以我们将超平面扩大空间
使其有一定的函数间隔
上图函数间隔为1 这样就能减小分类误差
而和超平面平行的保持一定的函数距离的这两个超平面对应的向量，我们定义为支持向量，如上图虚线所示
由于加上函数间隔 我们可以通过调整函数间隔使得我们找到的超平面时唯一 正正确分类的超平面
我们一般取函数间隔为1
则两个支持向量几何距离为
我们要使几何距离最大才能使得其超平面为唯一
故只要分母最小化
等价于求最小化的
故可以重新建立数学模型
