SVM —— 在复杂数据上应用核函数

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_30241709/article/details/87949049

对于非线性可分的数据,我们需要使用一种称为核函数(kernel)的工具将数据转换成易于分类器理解的形式。

目录

 利用核函数将数据映射到高位空间

径向基核函数


 利用核函数将数据映射到高位空间

对于非线性可分的数据,我们要将数据从一个特征空间转换到另一个特征空间。在新空间下,我们可以很容易地利用已有地工具对数据进行处理,这种过程称为从一个特征空间到另一个特征空间的映射。通常情况下,这种映射会将低维的特征空间映射到高维空间。

这种从某个特征空间到另一个特征空间的映射是通过核函数来实现的。核函数可以看成是一个包装器或者接口,它能把数据从某个很难处理的形式转换成为另一个较容易处理的形式。

在SVM优化中,将之前的内积计算,换成核函数,这种方式称为核技巧

核函数不仅仅应用于支持向量机,很多其他的机器学习算法也都能用到核函数。

径向基核函数

径向基核函数是一个采用向量作为自变量的函数,能够基于向量距离运算输出一个标量。这个距离可以是从<0, 0>向量或者其他向量开始计算的距离。径向基核函数的高斯版本:

k(x,y)=\exp(\frac{-\left \| x-y \right \|^2}{2\sigma ^2})

其中,\sigma是用户定义的用于确定到达率或者说函数值跌落到0的速度参数。

猜你喜欢

转载自blog.csdn.net/qq_30241709/article/details/87949049