机器学习实战笔记-12-降维方法

PCA(Principal Component Analysis)与SVD

常用的降维方法有主成分分析(PCA)，因子分析(Factor Analysis)，独立成分分析(ICA)。

1. PCA优点：降低数据的复杂性；缺点：不一定非要用，且可能损失有用信息。适用于数值型数据
2. PCA算法概要：
   python 选择能覆盖数据，能获得最大方差的直线，为第一个坐标轴(一团数据的长轴) 选择与第一个坐标轴垂直的第二个坐标轴 去除平均值 计算数据集的协方差矩阵 计算协方差矩阵的特征值和特征向量 将特征值从大到小排序 保留最上面的N个特征向量 将数据转换到上述N个特征向向量构建的新空间中

3. SVD优点：简化数据，去除噪声，提高算法的结果；缺点：数据的转换可能难以理解。适用于数值型数据。