《统计学习方法（李航）》感知机学习笔记

作者：jliang

https://blog.csdn.net/jliang3

1.重点归纳

1）感知机是二分类的线性分类模型

2）经验风险函数/损失函数, M为误分类点

3）学习策略, M为误分类点

4）感知机是误分类驱动的，具体采用随机梯度下降法求解。

5）感知机存在许多解，这些解依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。

2.感知机模型

1）感知机是二分类的线性分类模型，其输入为特征向量，输出为实例的类别类别（+1和-1值）。感知机旨在求出将训练数据进行线性划分的分离超平面，属于判别模型。

2）感知机函数

3.感知机学习策略

1）经验风险函数/损失函数, M为误分类点

2）学习策略, M为误分类点

4.感知机学习算法

1）感知机是误分类驱动的，具体采用随机梯度下降法求解。

（1）任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标函数，极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

（2）更新方法

损失函数导数：

参数更新：

2）学习过程

（1）选取初值w0和b0

（2）在训练集中选取数据(xi,yi)

（3）如果，则

（4）转至（2），直至训练集中没有误分类点

3）感知机存在许多解，这些解依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。

4）当训练集线性不可分时，感知机算法不收敛，迭代结果会发生震荡。