机器学习中的函数间隔和几何间隔

一、函数间隔

函数间隔

一般来说， 一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面 $w\cdot x+b=0$ 确定的情况下， $|w\cdot x+b|$能够相对地表示点距离超平面的远近。 $w\cdot x+b$ 的符号与类标记 $y$ 的符号是否一致能够表示分类是否正确。所以可用 $y(w\cdot x+b)$来表示分类的正确性及确信度，这就是函数间隔(functional margin)的概念。
定义

对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$的函数间隔为：
$\hat{\gamma_i}=y_i(w\cdot x_i+b)$
定义超平面 $(w,b)$ 关于训练数据集 $T$ 的函数间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点 $(x_i,y_i)$ 的函数间隔最小值，即：
$\hat{\gamma}=\mathop{min}\limits_{i=1,2,...,N}\hat{\gamma_i}$

当选择分离超平面时，只有函数间隔还不够。因为只要成比例地改变，例如将它们改为 $(2w,2b)$，平面并没有改变，但函数间隔却成为原来的两倍。所以可以对分离超平面的法向量加某些约束，如规范化， $||w||=1$，使得间隔是确定的 。这时函数间隔成为几何间隔 (geometric margin)

二、几何间隔

定义

对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$的几何间隔为：
$\gamma_i=y_i({w\over||w||}\cdot x_i+{b\over||w||})$
定义超平面 $(w,b)$ 关于训练数据集 $T$ 的几何间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点 $(x_i,y_i)$ 的几何间隔最小值，即：
$\gamma=\mathop{min}\limits_{i=1,2,...,N}\hat{\gamma_i}$
超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的几何间隔 般是实例点到超平面的带符号的距离 (signed distance) ，当样本点被超平面正确分类时就是实例点到超平面的距离。

三、函数间隔和几何间隔的关系

$\gamma_i={\hat\gamma_i\over||w||}$

$\gamma={\hat\gamma\over||w||}$

若 $\|w\|=1$，那么函数间隔和几何间隔相等，如果超平面参数成比例地改变(超平面没有改变) ，函数间隔也按此比例改变，而几何间隔不变