2-3 感知机梯度下降法的推导过程

感知机的损失函数：
$L(w, b) = - \sum_{x_i \in M}y_i (w \cdot x_i + b) \tag {1}$
目标是最小化这个损失函数。

使用梯度下降法求出 $L(w,b)$$的偏导，使w,b向导数的负方向移动。
$\begin{cases} \nabla_wL(w,b) = - \sum_{x_i \in M}y_ix_i \\ \nabla_bL(w,b) = - \sum_{x_i \in M}y_i \end{cases} \tag {2}$
其中M是错误分类点的集合

由于perceptron使用随机梯度下降法，一次只基于一个点来调整w,b。
假设当前选择的误分类点是 $(x_i, y_i)$ $，那就相当集合M中只有$ $(x_i, y_i)$$这一个点，偏导公式（2）可简化为
$\begin{cases} \nabla_wL(w,b) = - y_ix_i \\ \nabla_bL(w,b) = - y_i \end{cases} \tag {3}$

令(w,b)向导数的负方向移动，学习率为 $\eta$$，得到
$\begin{cases} w_{new} = w_{old} + \eta y_ix_i \\ b_{new} = b_{old} + \eta y_i \end{cases} \tag {4}$