统计机器学习第二章 感知机

对于线性方程w*x+b = 0

对应于空间的一个超平面S，其中w是超平面的法向量，b是超平面的截距。超平面将空间划分为两个部分，位于平面两边的点分属于正负两类。

前提：数据线性可分，可以找的一个超平面S，w*x+b = 0，能够将数据完整划分开。

输入：{(x₁,y₁),(x₂,y₂),..(x_N,y_N),}，其中y_i={-1，1}

输出：w和b。

算法的原始形式：

1. 选取初始值w₀和b₀
2. 在数据集中选择数据 (x_i,y_i)
3. 如果y_i(w_ix+b)<=0, w←w+ηy_ix_i  b←b+ηy_i
4. 转到步骤2直到没有误分类点

经过有限次搜索可以找到这个分类面，不唯一，与初值选择，误分类点的选择顺序等有关。