主成分分析(PCA)和线性判别分析(LDA)

  • 参考

PCA:

PCA发挥作用的实例(实践证明)https://www.jianshu.com/p/0227aa77425f

PCA前的数据预处理:去中心,标准化(理论取胜)https://blog.csdn.net/u010182633/article/details/45918737

训练集和测试集上的做法(操作上的细节)http://wenda.chinahadoop.cn/question/5926

别人的总结https://blog.csdn.net/viewcode/article/details/8789524

LDA:

LDA原理(二分类以及多分类):https://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html

图文代码丰富https://blog.csdn.net/ruthywei/article/details/83045288

  • 总结

PCA:

对高斯分布有效,因为高斯分布不相关就是独立

在做之前需要进行去中心化和标准化(无量纲),因为去中心化后变换就只用正交变换来去相关,后面的推导容易,无量纲化是考虑到量纲会影响方差的大小比较。

PCA后的特征是正交的

PCA挑选的特征只是对于保留所有数据的分散性有用,对于数据分类未必有用,LDA是针对数据分类的

PCA中协方差矩阵的特征值之和,就是所有样本(去中心、标准化后)与中心(即坐标原点)的距离平方和

如果使用到分类中,适合能够用方差分类的数据,如

0?wx_fmt=png

LDA:对于K分类,最多降到K-1维空间上面,并且选出来的特征未必正交

适合使用均值可以区分开的数据

0?wx_fmt=png

发布了135 篇原创文章 · 获赞 7 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/math_computer/article/details/103616921