版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
高斯核函数
高斯核函数 (Gaussian kernel),也称 径向基 (RBF) 函数,用于 将有限维数据映射到高维空间。通常定义为空间中任意一点 到某一中心点 之间的欧式距离的单调函数。
高斯核函数定义:
为核函数中心,
为向量
和向量
的欧式距离(L2范数),随着两个向量的距离增大,高斯核函数值单调递减。
控制高斯核函数的作用范围,其值越大,高斯核函数的局部影响范围就越大。
不要选太小,否则在分类任务中容易过拟合。
思考
从高斯核函数的定义中可以看出,参数 的选择很关键。
-
当 比较大时,取个倒数就变成了很小的一个系数,此时向量 和 之间距离的变化对指数整体数值的影响就会变小,此时 的变化也会比较 “平滑”。
-
同理,当 比较小时,让向量 和 之间距离的变化对指数整体数值的影响变大了,此时 的变化会变得比较 “尖锐”。
这其实和高中就学过的正态分布联系起来了, 越大曲线就越 “胖”, 越小曲线就越 “瘦”。
在分类任务中,如果取 过小,那么高斯核函数对两点之间的距离就会很敏感,容易过拟合。
在训练分割网络生成 heatmap 时,也会用到高斯核函数。
高斯核的具体实现
def RBF(x, L, sigma):
'''
x: 待分类的点的坐标
x': 中心点,通过计算x到x'的距离的和来判断类别
sigma:有效半径
'''
return np.exp(-(np.sum((x - x') ** 2)) / (2 * sigma**2))