《统计学习方法》第二章感知机笔记

1.感知机模型

感知机的几何解释: 线性方程:w*x+b=0,对应于特征空间R中的一个超平面S,其中w是超平面的法向量,b是超平面的截距,这个超平面将特征空间划分为两个部分,位于两部分的点(特征向量)分别被分为正、负两类.因此,超平面S称为
分离超平面.如图:

注:||w||为l2范数,即根号下w中所有元素的平方和

2.感知机学习策略
1)损失函数的选择
1.1)误分类点的总数
缺点:这样的损失函数不是参数w,b的连续可导函数
1.2)误分类点到超平面S的总距离

任一点x₀到超平面S的距离:

注:||w||是w的L₂范数.

误分类的点到超平面S的距离:

注:对于误分类的点来说, -yi(w*xi+b)>0, 且yi=1或-1

所有误分类的点到超平面S的总距离:

注:不用考虑1/||w||是因为,对于确定的超平面函数,所有误分类的点到超平面S的总距离是上面这个函数,并且w是固定的,目的是求最小化距离函数,可以省略一个乘积常数.

所以,感知机sign(w*x+b)学习的损失函数定义为:

3.感知机学习算法
w、b梯度:

若采用随机梯度下降法(即随机选取一个误分类点使其梯度下降)






注:下面中的ⁿi表示的是第 i 个样本点被误判的次数.