034.(9.2)核


参考: 机器学习中的核函数与核方法(是什么?为什么?怎么做?)

简介

核方法:对于非线性问题,通过引入核函数:

在这里插入图片描述

对特征进行映射 (如上图的二维到三维。通常映射后的维度会更高),就是将一个空间中的特征转换到另外一个空间,这就是空间转换(映射)的意义,即可以将原来线性不好分的数据转换到另外一个空间,在这个空间中可以用一个超平面线性可分。

核函数就等于就是高维空间的内积,也是低维空间中内积的某个函数。

即:相比映射到高维再进行复杂运算,核函数的作用是先在低维进行运算,再映射到高维。

在这里插入图片描述

补充说明

为什么用核函数? 在机器学习中,求解的过程常用到内积,而变换后的高维空间的内积我们不好求,所以定义了这个核函数,可以把高维空间的内积运算转化成低维空间的某些运算,不用过于关注如何映射。

判断一个核函数是否有效的方式是通过Mercer定理:
核方法

简谈高斯核

高斯核是最常使用的核函数之一,它可以把数据映射至无穷维。同时,可以调节参数σ,来改变特征权重,这也使得高斯核更为灵活。

公式:
在这里插入图片描述
(绝对值平方部分可以理解为x与另一点的欧氏距离)

根据泰勒展开式,可以看出高斯核其实是0-n维的多项式核函数的和。

张骞晖:SVM中,高斯核为什么会把原始维度映射到无穷多维?

猜你喜欢

转载自blog.csdn.net/u013598957/article/details/108349946
9.2