LDA 线性判别分析模型

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_41455420/article/details/79859899

LDA 线性判别分析模型

线性判别分析(Linear Discriminant Analysis,LDA)是一种可作为特征抽取的技术,可以提高数据分析过程中的计算效率,同时对于不适用于正则化的模型,它可以降低模型灾难带来的过拟合。

1、LDA 的概念与 PCA 区别与联系

  • 1.PCA 试图在数据集中找到方差最大的正交主成分量的轴,而 LDA 的目标是发现可以最优化分类的特征子空间。LDA 和 PCA 都是可以降低数据集维度的线性转化技巧。
  • 2.PCA 是一种无监督算法(不需要类标签的参与),而 LDA 是监督算法。
  • 3.在图像识别某些情况下,如每个类别中只有少量样本使用 PCA 最为预处理工具的分类结果更佳。

下图解释了二分类 LDA 的概念,x 和点分别表示一个类别:

这里写图片描述

在 x 轴方向(LD1)通过线性判断,可以很好地将呈现正态分布的两个类分开。虽然沿 y 轴(LD2)方向的线性判别保持了数据集的较大的方差(与 PCA 相似),但是沿着此方向无法提供关于类别区分的任何信息,y 轴的这个情况也不是一个好的线性判定。

2、LDA 算法步骤

这里写图片描述

3、计算散步矩阵

这里写图片描述

4、在新特征子空间上选取线性判别算法

这里写图片描述

5、将样本映射到新的特征空间

这里写图片描述

喜欢就点赞评论+关注吧

这里写图片描述

感谢阅读,希望能帮助到大家,谢谢大家的支持!

猜你喜欢

转载自blog.csdn.net/qq_41455420/article/details/79859899