Machine Learning Techniques 笔记:2-2 Dual Support Vector Machine

找出最佳的线,margin最大,通过QP求解

非线性特征转换,只需要将原来的x转换为z即可。z空间的线性分类,对应到原来的x空间,可能就是一个非线性的分类动作

透过SVM,large margin,来控制模型的复杂度。透过特征转换得到弯曲的边界,做好Ein

如果d quota的维度很大时,比如无穷大,则可能无法做好。怎么办?

目标:只跟资料数量有关,与特征的维度无关

原来的问题:有条件的最佳化问题

换成:没有条件的Augment error的方式,拉格朗日乘子法

SVM:N个限制条件,对应的拉格朗日乘子就有N个

定义一个拉格朗日函数,对于b,w而言,看起来完全没有任何条件。

如果有违反,不好的b,w,一个方块量+正数:最大化会到无穷

如果不违法,则一个方块量,加一个小于等于0的量,最大化结果为这个方块量

最重要的是:对b,w最佳化的问题,转化为看起来没有条件的问题。

满足某些资格的条件:强对偶关系。

b已经被需要解决的最佳化问题消除。

导出来的简化版的,几乎只与alpha有关的对偶问题。

alpha,与(1-y(wz+b))至少有一个为零。

原来:边界上的点为support vector candidate

对偶问题求出的alpha:即为支持向量

PLA:用犯错的点表示出最后的w

SVM:用边界上的点,表示出最后的w

原始的SVM:与变换的空间维度有关,求b,w,自由放缩得到最优解

对偶的SVM:与资料量有关,与维度无关,与bw无关,找出support vector,以及与之相应的alpha 来做预测。

看起来,对偶问题的解,只与资料量N有关,与维度d quota无关。 ?真的无关? d quota隐藏在对偶问题的Q矩阵(QD)内部,藏在算q的地方。 即整个计算还是与d quota有关。 如果要完全与d quota无关,则需要整个计算避开计算Q矩阵,否则永远无法做到计算d quota为无穷大的场合。

如何完全避开?利用核函数。


猜你喜欢

转载自blog.csdn.net/f2157120/article/details/80642336