浅谈机器学习——感知机

一、简介
感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误差分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法简单而易于实现，分为原始形式和对偶形式，1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

二、感知机模型
由输入空间到输出空间的如下函数：

$$f(x)=sign(w*x+b)$$
称为感知机。其中，w和b为感知机模型参数，w为权值向量，b为偏置，w*b表示w和x的内积，sign是符号函数。

三、感知机学习策略
损失函数定义为

$$L(w,b)=-\sum_{x_i-M}y_i(w*x_i+b)$$ 　
其中M为误分类点的集合，这个损失函数就是感知机学习的经验风险函数。损失函数L（w,b）是非负的，如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值就越小，因此，给定训练数据集T，损失函数L(w,b)是w,b的连续可导函数。

四、感知机学习算法
感知机学习算法是对以下问题的优化算法：
给定一个训练数据集T，求参数w,b使其为以下损失函数极小化问题的解

$$\min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(w*x_i+b)$$
假设误分类点的集合M是固定的，那么损失函数L(w,b)的梯度由 $$\nabla_wL(w,b)=-\sum_{x_i\in M}y_ix_i$$ $$\nabla_bL(w,b)=-\sum_{x_i\in M}y_i$$ 给出。
随机选取一个误分类点 $(x_i,y_i)$,对w,b进行更新： $$w=w+\eta y_ix_i$$ $$b=b+\eta y_i$$
式中， $\eta(0<\eta<1)$是步长，又称为学习率。这样，通过迭代可以期待损失函数L(w,b)不断减小，直到为0.