机器学习(2)-感知机算法

上一篇我们总结了运行机器学习算法的一般过程,属于实战部分,但机器学习算法的特点就是分散的,需要一个一个算法地去学习。因此,本文以自己的入门经历为基础,从最简单的感知机算法开始讲起。

感知机是支持向量机和神经网络的基础算法,因此把感知机作为第一个入门算法,对于后续的学习可以呈现依次递进地相关性和连续性,由浅入深,对于最终把握整个机器学习的知识起到很好的开头作用。

(一)感知机的定义

具体来说,感知机的模型如下图,具体可以参考李航的《统计学习方法》。

感知机是二类分类的线性可分模型,其输入为实例的特征向量,输出为实例的类别(取+1或-1),也就是说,感知机的主要目的就是找到一个能将特征空间的正负样本完全划分开的超平面,这样的平面我们叫做分离超平面。

感知机的具体划分策略,也就是学习策略是计算所有错误划分的点(误分点)到超平面的距离之和,因此我们定义感知机的损失函数如下:

(二)感知机的求解

感知机采用随机梯度下降法进行求解,原始形式如下:

对偶形式:

猜你喜欢

转载自blog.csdn.net/xiaoyu_2011/article/details/81836336