机器学习--SVM(支持向量机)标记点选择与损失函数

本篇文章介绍SVM如何选择标记点,以及引入核函数后的损失函数。若是还没理解核函数及高斯核函数的同学可以看看上一篇:http://blog.csdn.net/wenqiwenqi123/article/details/79313876




给定m个样本(x1,y1)、(x2,y2).....(xm,ym).最好的标记点选择就是把所有样本都当做标记点。将标记点记为l1、l2.....lm.

所以求f(高斯核函数)的时候,每一个样本一定会有一个f等于1,其他不等于1。原理见上图红字公式。

对于第i个样本,可以求出f1、f2、f3......fm共计m个值,把它们堆叠到一起构成特征向量f(i),如上图红框里所示。


然后现在先让我们复习一下SVM的损失函数:


左边那个cost函数是y=1时,右边为y=0时。

在引入了高斯核之后,如今我们的损失函数变为这样:


之前的θ转秩*x(i) 变为θ转秩*f(i),而且一个向量中θ数量变为了m,m为训练集中的样本个数.







猜你喜欢

转载自blog.csdn.net/wenqiwenqi123/article/details/79314166