《统计学习方法》“支持向量机”一章中说可以取函数间隔等于 1 是为什么?

假设两条平行直线分别是

(1) W x + A = 0 , Wx+A=0,\tag{1}

(2) W x + B = 0. Wx+B=0.\tag{2}

那么和这两条直线平行,且位于中间的那条直线就可以表示成:
(3) W x + A + B A 2 = 0. Wx + A + \frac{B-A}{2} = 0. \tag{3}

t = B A t=B-A ,则有 B = t + A B=t+A

t = B A t=B-A 代入(3),得到
(4) W x + A + t 2 = 0. Wx+A+\frac{t}{2}=0.\tag{4}

B = t + A B=t+A 代入(2),得到

(5) W x + t + A = 0. Wx+t+A=0.\tag{5}

整理一下,这三条直线现在可以写成
(6) W x + A = 0 , Wx+A=0,\tag{6}
(7) W x + t + A = 0 , Wx+t+A=0,\tag{7}
(8) W x + A + t 2 = 0. Wx+A+\frac{t}{2}=0.\tag{8}
下面给等式(6)左右都加上 t 2 \frac{t}{2} ,给等式(7)左右都减去 t 2 \frac{t}{2} ,得到
(9) W x + A + t 2 = t 2 , Wx+A+\frac{t}{2}=\frac{t}{2},\tag{9}

(10) W x + A + t 2 = t 2 . Wx+A+\frac{t}{2}=-\frac{t}{2}.\tag{10}
接下来将等式(8)、(9)、(10)的两边都乘以 2 t \frac{2}{t} ,得
(11) 2 t W x + 2 t ( A + t 2 ) = 0 , \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=0,\tag{11}
(12) 2 t W x + 2 t ( A + t 2 ) = 1 , \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=1,\tag{12}
(13) 2 t W x + 2 t ( A + t 2 ) = 1. \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=-1.\tag{13}
w = 2 t W w=\frac{2}{t}W b = 2 t ( A + t 2 ) b=\frac{2}{t}(A+\frac{t}{2}) ,则等式(11)、等式(12)、等式(13)又可以写成:
(14) w x + b = 0 , wx+b=0,\tag{14}
(15) w x + b = 1 , wx+b=1,\tag{15}
(16) w x + b = 1. wx+b=-1.\tag{16}
化简成这样的主要原因是,间隔(margin)的表达式最简单。
可以假设向量 x 1 x_1 w x + b = 1 wx+b=1 上,向量 x 2 x_2 w x + b = 1 wx+b=-1 上,间隔(margin)的表达式为
(17) m a r g i n = d = x 1 x 2 cos θ . margin = d = |x_1-x_2|\cdot \cos \theta.\tag{17}
其中 θ \theta x 1 x 2 向量 x_1-x_2 与平行直线的法向量 w w 的夹角。

为了利用向量的工具,我们可以在等式(17)两边都乘以 w |w| ,则有

(18) d w = x 1 x 2 w cos θ = w ( x 1 x 2 ) . d\cdot |w| = |x_1-x_2| \cdot |w| \cdot \cos \theta = |w(x1-x2)| .\tag{18}
又因为向量 x 1 x_1 w x + b = 1 wx+b=1 上,向量 x 2 x_2 w x + b = 1 wx+b=-1 上,则
w x 1 + b = 1 , wx_1+b=1,

w x 2 + b = 1. wx_2+b=-1.
所以
w ( x 1 x 2 ) = w x 1 w x 2 = 1 b ( 1 b ) = 2 = d w . |w(x1-x2)|=|wx_1-wx_2|=|1-b-(-1-b)|=2=d\cdot |w|.
所以
d = 2 w . d = \frac{2}{|w|}.

猜你喜欢

转载自blog.csdn.net/lw_power/article/details/82940105
今日推荐