统计学习方法笔记（六）感知机学习算法

感知机学习算法

感知机学习算法原始形式

求参数w,b,使其为损失函数极小化问题的解：
$\mathop {\min }\limits_{w,b} L(w,b) = - \sum\limits_{{x_i} \in M} {{y_i}(w \cdot {x_i} + b)}$
学习算法是误分类驱动的，具体采用随机梯度下降法，首先任意选取一个超平面$w_0$, $b_0$，然后用梯度下降法不断求极小化目标函数，极小化过程是一个随机选择一个误分类点使其梯度下降。
假设误分类点固定，损失函数的梯度由下式给出：
${\nabla _w}L(w,b) = - \sum\limits_{{x_i} \in M} {{y_i}{x_i}}$
${\nabla _b}L(w,b) = - \sum\limits_{{x_i} \in M} {{y_i}}$
随机选取一个误分类点 $(x_i,y_i)$，进行更新：
$w \leftarrow w + \eta {y_i}{x_i}$
$b \leftarrow b + \eta {y_i}$
其中，$\eta$ 是步长，又称为学习率

算法的收敛率

定理：1) 存在满足条件$\left\| {{{\widehat w}_{opt}}} \right\| = 1$ 的超平面 ${\widehat w_{opt}} \cdot \widehat x = {w_{opt}} \cdot x + {b_{opt}} = 0$，将训练数据完全正确的分开，且存在 $\gamma>0$ ，有：
${y_i}({\widehat w_{opt}} \cdot {\widehat x_i}) = {y_i}({w_{opt}} \cdot {x_i} + {b_{opt}}) \ge \gamma$
2) 令$R = \mathop {\max }\limits_{1 \le i \le N} \left\| {{{\widehat x}_i}} \right\|$ ，则感知机算法在训练数据集上的误分类次数满足：
$k \le {\left( {\frac{R}{\gamma }} \right)^2}$

感知机算法的对偶形式

感知机模型$f(x) = sign(\sum\limits_{j = 1}^N {{\alpha _j}{y_j}{x_j} \cdot x + b} )$
假设初始值为0，则最后学习到的w，b可以表示为;
$w = \sum\limits_{i = 1}^N {{\alpha _i}{y_i}{x_i}}$
$b = \sum\limits_{i = 1}^N {{\alpha _i}{y_i}}$
系数更新为：
${\alpha _i} \leftarrow {\alpha _i} + \eta$
$b \leftarrow b + \eta {y_i}$