目录
在学习感知机之前首先要明确几个概念,什么是二分类?什么是特征空间?
一些概念
什么二分类?
二分分类即分类结果标签只有两个。
EG:输入歌曲特征,输出喜欢/不喜欢
EG:输入学习时间,输出及格或者不及格
什么是特征空间(特征向量)
线性变换的特征向量(本征向量)是一个非简并的向量,其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值(本征值)。
一个线性变换通常可以由其特征值和特征向量完全描述。特征空间是相同特征值的特征向量的集合。
什么是线性可分?
线性可分:可以用一个线性函数把两类样本分开
什么是感知机
是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1的值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。
感知机预测
用学习得到的感知机模型对新的输入实例进行分类
根据李航老师的书来看一下感知机模型
思考:为什么w.x+b=0?
感知机学习策略:
定义(经验函数)损失函数并将损失函数极小化。
1、什么是损失函数?
一言以蔽之,损失函数(loss function)就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。
2. 为什么使用损失函数?
损失函数使用主要是在模型的训练阶段,每个批次的训练数据送入模型后,通过前向传播输出预测值,然后损失函数会计算出预测值和真实值之间的差异值,也就是损失值。得到损失值之后,模型通过反向传播去更新各个参数,来降低真实值与预测值之间的损失,使得模型生成的预测值往真实值方向靠拢,从而达到学习的目的。
感知机选择的损失函数:
感知机学习算法的原始形式
例题:
以李航老师的例题为例:
注:采用不同的处置或选取不同的误分类点,解不同
感知机的对偶形式:
首先声明感知机的对偶形式与原始形式并没有多大的区别,运算的过程都是一样的,但通过对偶形式会事先计算好一些步骤的结果并存储到Gray矩阵中,因此可以加快一些运算速度,数据越多节省的计算次数就越多,因此比原始形式更加的优化。