【机器学习】LDA(线性判别分析)或fisher判别分析

内容目录:
一、LDA/fisher判别分析
二、LDA判别分析与PCA对比

一、fisher判别分析

1.首先在模式识别课程上学习的是fisher判别,LDA概念是看川大同学写的500问接触的,两者是一样的东西。
2推荐:深度学习500问 github链接形式是问答形式,初学者概念补充。挺有意思的,饭后阅读物!
3fisher分类标准:类间的距离越大且类内的距离越小。
4fisher目的:寻找到一条直线,当把所有数据点投影到直线上之后,尽可能的分开不同类别的训练数据。如下图所示,右边的图的直线投影后无法将其分开,而左边的直线投影后可以很好的将两类分开,分界面定义为,两类在投影后的各自均值点求平均点O,并过此点做投影直线的中垂线。
在这里插入图片描述
5分界面所示:

在这里插入图片描述
6推导过程:
根据分类原则,类内距离尽可能小,类间距离尽可能大,所以定义了代价函数=类间方差矩阵除以类内方差矩阵。即目标要最大化代价函数。

基本概念数学表达式:
在这里插入图片描述
举例:一维两类
在这里插入图片描述
w的确定(最佳法线向量,投影直线)
4-30推导到4-32时:是把Sb公式4-19带入了,且(m1-m2)'w(矩阵维度:1dd1=11)为常量就省去了,因为W是作为方向参考,乘上一个常数因子不影响方向。
在这里插入图片描述

二、fisher判别分析与PCA比较:

1共同点:两者都是降维处理。
2降维维度:pca可以达到任意维度,可以只取矩阵分解后特征值最大的一个特征向量,也可以取其他;fisher投影降维只能降到K-1维(类别数-1,两类之间判断是或不是???这个点怎么理解???),也比常用数据的属性特征的维数少很多。
3fisher可做分类器:
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_35705332/article/details/84942143