PCA,SVD,LDA分析

PCA：主成分分析，依据最大方差理论（信号处理中认为信号有较大方差，噪声有较小方差，信噪比就是信号和噪声的方差比，越大越好。因此对于n维转为k维后，每一维的样本方差都很大，认为这样转化最好），通过协方差矩阵特征分析，得出数据主成分和权值，然后除掉最小的特征值所对应的成分，那么所得的低纬度的数据必定最为优化（失去信息最少）。
SVD：奇异值分解，假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得
A=UΣVT
其中U是m×m阶酉矩阵；Σ是m×n阶非负实数对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解
LDA：线性判别式分析，降维思想就是将数据投影，使同一类别的数据投影尽可能接近，不同类别的距离尽可能大。
PCA主要用于降维，去噪声；SVD用于矩阵压缩；LDA用于降维，分类。