机器学习算法之SVM(二)概述

前面的初识部分我们说了,在划分的时候要求margin最大化

           

       

如下图,红线用W*X=0表示,则红线左上方的区域可以用W*X>0表示,右下方的区域可以用W*X<0表示


同理,红线左侧的虚线用W*X=-k表示,右侧的虚线用W*X=k表示,区域划分如下图



如下图,X1和X2分别是红线左右两侧虚线上的点,


利用向量(X1-X2)在W上的投影就可以算出Margin,接下来我们就是在Y*(W*X) ≥k 的条件下求margin的最大值



高等数学里面我们学过拉格朗日乘数法,求一个函数在其它约束条件下的极值,后面的数学推导可以参见http://web.mit.edu/6.034/wwwbob/svm-notes-long-08.pdf

其中,||w||叫做向量w的范数

更多参考:https://course.ccs.neu.edu/cs5100f11/resources/jakkula.pdf

http://www.cs.columbia.edu/~kathy/cs4701/documents/jason_svm_tutorial.pdf

猜你喜欢

转载自blog.csdn.net/weixin_40941966/article/details/80945613