简介
感知机是二类分类的线性分类模型，属于判别模型，输入实例特征向量，输出实例的类别，取+1和-1。是神经网络与支持向量机的基础。
模型
$$f(x)=sign(w.x+b)$$
几何解释：
线性方程$w.x+b=0$对应特征空间的一个超平面S，位于超平面两侧的点被分为正类或负类，S称为分离超平面。
策略
假设数据集是线性可分的，即存在一个超平面S能够将数据集中的正负实例点完全正确的划分到超平面的两侧，，感知机目标就是找出这个超平面，为了找到这样的超平面，即确定感知机模型参数w，b，需要确定一个学习策略，即定义（经验）损失函数并将损失函数最小化。
损失函数选择误分类点到超平面S的总距离。
损失函数为：
$$L(w,b)=-\displaystyle\sum_{x_i\in M}y_i(w\cdot x_i+b)$$
假设超平面S的误分类点集合为M。
推导过程如下：
某点到超平面S的距离为：$\frac{1}{||w||}|w\cdot x_0+b|$
对误分类数据有：$-y_i(w\cdot x_i+b)>0$,因此误分类数据到超平面的距离为:$-\frac{1}{||w||}y_i(w\cdot x_0+b)$
假设超平面S的误分类点集合为M，那么所有误分类点到超平面S总距离为：$-\frac{1}{||w||}\displaystyle\sum_{x_i\in M}y_i(w\cdot x_i+b)$;不考虑$\frac{1}{||w||}$,就得到感知机学习的损失函数。
算法
感知机学习问题转化为求解损失函数最优化问题，采用随机梯度下降，包括原始形式和对偶形式。
原始形式：
输出：w，b 感知机模型:f(x)=w.x+b，$\eta(0<\eta\leq 1)$
（1）w,b选初值$w_0,b_0$.
（2）训练集选取数据$(x_i,y_i) $,
（3）若$y_i(w\cdot x_i+b)\leq 0$:
$w \leftarrow w+\eta y_ix_i$
$b \leftarrow b+\eta y_i$
（4）转至2，直至训练集中没有误分类点。
