2-5 感知机 - 对偶形式 - 学习模型的推导

感知机对偶形式由感知机原始形式变化而来。

在原始形式中，感知机的模型为：
$f(x) = sign(w \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases} \tag {1}$

根据梯度下降法的推导过程可知，当基于一个误分类样本 $(x_i, y_i)$作调整时，会这样移动w和b
$\begin{cases} w_{new} = w_{old} + \eta y_ix_i \\ b_{new} = b_{old} + \eta y_i \end{cases}$

假设初始(w, b)为0，且对每个样本 $(x_i, y_i)$分别作了 $a_i$次调整，那么最终的(w, b)为：

$\begin{cases} w = \sum a_i \eta y_ix_i \\ b = \sum a_iy_i \end{cases} \tag {2}$

把公式（2）代入公式（1）得：
$f(x) = sign(\sum_{j=1}^m a_jy_jx_j \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases}$