1 PCA: 更够保持对方差贡献最大的特征。
通过协方差矩阵的特征值分解能给得到数据的主成分,以二维特征为例,两个特征之间可能存在线性关系(例如运动的时速和秒速度),这样就造成了第二维信息是冗余的。PCA的目标是发现这种特征之间的线性关系,并去除。因此PCA本质是一种去相关算法。
协方差:度量两个变量的变动的同步程度,也就是度量两个变量的线性相关性,协方差为0代表线性无关。方差是协方差中两个变量相同的时候。
1 最近重构性: 样本到这个超平面的距离都足够近
2 最大可分性: 样本点到这个超平面的投影都能尽可能的分开
2 SVD(奇异值分解)
矩阵分解方法:
左奇异向量用于压缩行,右奇异向量压缩列,压缩方法均是取奇异值较大的左奇异向量和右奇异向量与原数据C相乘。
PCA 是从特征方向去降维,SVD是从特征和实例两个方向降维。
3 LDA 算法 :线性判别式,考虑label,降维后的数据点经可能容易地被区分。
基于线性模型进行特征属性合并的操作,有监督的降维,在sklearn 中的本质是SVD分解的左奇异矩阵乘以原来的矩阵,达到降维实例的目的。
总结: PCA 映射是将一种高温数据合并到低维的过程,样本更具有更大的发散性,LDA考虑了样本的标注,使得不同类别之间的距离最大,可以用于降维和分类。
一般情况下,有类别信息的,可以采用LDA
没有类别信息的,可以用PCA。