机器学习之感知机原理

目录

一些概念

什么二分类?

什么是特征空间(特征向量)

什么是线性可分?

什么是感知机

感知机预测

 思考:为什么w.x+b=0?

 感知机学习策略:

1、什么是损失函数?

2. 为什么使用损失函数?

 感知机学习算法的原始形式

例题:

感知机的对偶形式:     

算法形式

 例题


在学习感知机之前首先要明确几个概念,什么是二分类?什么是特征空间?

一些概念

什么二分类?

二分分类即分类结果标签只有两个。

EG:输入歌曲特征,输出喜欢/不喜欢

EG:输入学习时间,输出及格或者不及格

什么是特征空间(特征向量)

线性变换的特征向量(本征向量)是一个非简并的向量,其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值(本征值)。

一个线性变换通常可以由其特征值和特征向量完全描述。特征空间是相同特征值的特征向量的集合。

什么是线性可分?

线性可分:可以用一个线性函数把两类样本分开

什么是感知机

是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1的值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。

感知机预测

用学习得到的感知机模型对新的输入实例进行分类

根据李航老师的书来看一下感知机模型

 思考:为什么w.x+b=0?

 感知机学习策略:

定义(经验函数)损失函数并将损失函数极小化。

1、什么是损失函数?

一言以蔽之,损失函数(loss function)就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。

2. 为什么使用损失函数?

损失函数使用主要是在模型的训练阶段,每个批次的训练数据送入模型后,通过前向传播输出预测值,然后损失函数会计算出预测值和真实值之间的差异值,也就是损失值。得到损失值之后,模型通过反向传播去更新各个参数,来降低真实值与预测值之间的损失,使得模型生成的预测值往真实值方向靠拢,从而达到学习的目的。

感知机选择的损失函数:

 感知机学习算法的原始形式

例题:

以李航老师的例题为例:

  注:采用不同的处置或选取不同的误分类点,解不同

感知机的对偶形式:     

       首先声明感知机的对偶形式与原始形式并没有多大的区别,运算的过程都是一样的,但通过对偶形式会事先计算好一些步骤的结果并存储到Gray矩阵中,因此可以加快一些运算速度,数据越多节省的计算次数就越多,因此比原始形式更加的优化。

算法形式

 例题

猜你喜欢

转载自blog.csdn.net/maggieyiyi/article/details/125551679