SVM算法推导

(本文仅供自己参考,防止遗忘,想要了解更多得小伙伴请移步别的大神博客)

首先从SVM得分类谈起:

分为三类,第一个约束条件最强,最后一个约束最宽泛,如下:

此时即可求出w,b。

然后:一是因为原始问题转换为对偶问题更容易求解,二是为了自然的引入核函数,进而推广到非线性分类问题

引入了拉格朗日乘子,构建拉格朗日函数。

这样一来,就转换为求alpha的最大的问题,然后就不用求w,b,只需要求出来alpha,再由alpha求出w,b。

接着谈软间隔的最大化问题,只需要引入一个松弛变量,如下

其推导思想和硬间隔最大化相似,求出alpha,然后由alpha求出w,b即可。

猜你喜欢

转载自blog.csdn.net/nowfuture/article/details/81127211