广义线性回归模型包括线性回归、感知机和逻辑回归模型。
感知机模型是SVM的前序模型。
类别信息如何理解呢？本质上相当于是投影后用超平面进行区分。
1. 损失函数
误分类的损失函数。误分类点到分界面的距离最小。
误分类点： − y y ^ > 0 -y \hat{y} >0 −yy^>0
2. 优化方法
感知机使用的是随机梯度下降。也就是说每次只对随机选取的某一个误分数据进行参数迭代。
w = w + η x i y i w=w+\eta x_i y_i w=w+ηxiyi
b = b + η y i b=b+\eta y_i b=b+ηyi
3. 对偶形式
为什么在对偶形式中只替换了 w w w，而没有替换 b b b。因为 w w w用Gram矩阵计算会更快，但是 b b b并不会。
α i = n i η \alpha_i=n_i \eta αi=niη
为什么 α i = α i + η \alpha_i=\alpha_i+\eta αi=αi+η，当学习率为1时，alpha_i代表每个样本被错分类的次数，所以对于每个样本每错分一次就要加1。