版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/vivizhangyan/article/details/81040310
主成分分析（PCA）
定义
数据在某一个方向的投影具有最大的方差，则这个方向为主成分所在的方向，表征了数据变化的剧烈程度的主要方向。
如何求
根据协方差矩阵求解特征向量和特征值，其中特征值最大的就是主成分的方向，主成分分析中主成分的大小和特征值得区别在于数据分布所在的轴的长度正比于特征值开根号而不是特征值本身
如何降维
（1）对数据进行预处理，避免不同维度间变量量级差距太大产生影响
（2）首先知道数据样本的协方差，直接对协方差矩阵求特征值和特征向量
（3）对特征值按照大小进行排序
（4）保留m个主成分，进行降维
如何应用
（1）数据是统计意义上具有强相关性，可以进行降维
（2）非统计意义的相关可以采用非线性降维，例如LLE（局部线性嵌入）
其他降维手段
（1）kernel PCA：求协方差前先进行非线性变换，再求协方差矩阵
（2）线性判别分析（LDA）：原始数据进行投影，在低维空间尽量不同类别的分布中心远离，相同类别的方差尽量小。
（3）生成式对抗网络（GAN）
（4）多维缩放（MDS）：将高维空间中的距离或者差异性的大小通过变换后在低维空间中保持，比如在低维空间中把距离或差异性表示成欧式距离
（5）随机近邻嵌入SNE：低维空间中把距离或差异性表示成条件概率