本文在主成分分析（PCA）原理总结和用scikit-learn学习主成分分析(PCA)的内容基础上做了一些笔记和补充，强调了我认为重要的部分，其中一些细节不再赘述。
Jupiter notebook版本参见我的github: https://github.com/konatasick/machine_learning_note/blob/master/pca.ipynb
PCA的思想
PCA（Principal components analysis，主成分分析）是一种降维算法，它通过使样本间方差尽量大来尽可能保留原始数据的相关关系。
PCA的算法
1) 对所有的样本进行中心化 2) 计算样本的协方差矩阵 3) 对协方差矩阵进行特征值分解 4）取出最大的m个特征值对应的特征向量, 将所有的特征向量标准化后，组成特征向量矩阵W。 5）对样本集中的每一个样本转化为新的样本
scikit-learn的sklearn.decomposition.PCA参数介绍
官方文档：sklearn.decomposition.PCA
Parameters:
n_components：这个代表了需要降维的维度。当它是整数时，代表了保留的维度数量。当它是一个介于0~1之间的数时，代表了主成分的方差所占的最小比例，例如0.95代表取超过95%的量的维度。当它为‘mle’，同时svd_solver == ‘full’时，系统会根据MLE算法自动选择维度。（此时svd_solver == ‘auto’将会被解读为svd_solver == ‘full’）
svd_solver：默认是‘auto’，即在剩下的‘full’, ‘arpack’, ‘randomized’中根据情况选一个。‘full’是传统的PCA，‘arpack’, ‘randomized’适用于数据量大的场景，其区别在于前者是通过scipy.sparse.linalg.svds实现。
Attributes*:
components_ : 主成分的投影坐标，代表了数据的最大方差的方向，根据explainedvariance由大到小排列。维度是m*n，其中n是原始数据的维度，m是降维后的维度。
explainedvariance和explained_varianceratio：前者是每一维的方差，后者是所占比例：
explained_varianceratio=explained_variance/sum（explainedvariance）
维度是m, 当m=n时，sum（explained_varianceratio）=1。
mean_：每个feature的平均值。在pca算法的第一步，需要对feature归一化，此时的平均值保留在这里。
ncomponents ：模型实际的降维数，即m。
PCA实例
用scikit-learn学习主成分分析(PCA)中示范了降维的操作。
首先我们生成随机数据并可视化，代码如下：
import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D %matplotlib inline from sklearn.datasets.samples_generator import make_blobs # X为样本特征，Y为样本簇类别， 共1000个样本，每个样本3个特征，共4个簇 X, y = make_blobs(n_samples=10000, n_features=3, centers=[[3,3, 3], [0,0,0], [1,1,1], [2,2,2]], cluster_std=[0.2, 0.1, 0.2, 0.2], random_state =9) fig = plt.figure() ax = Axes3D(fig, rect=[0, 0, 1, 1], elev=30, azim=20) plt.scatter(X[:, 0], X[:, 1], X[:, 2],marker='o')
输出如图：
现在我们来进行降维，从3维降到2维，代码如下：
from sklearn.decomposition import PCA pca = PCA(n_components=2) pca.fit(X) X_new = pca.transform(X) plt.scatter(X_new[:, 0], X_new[:, 1],marker='o') plt.show()
输出如图：
在很多应用中，当我们将数据降维并用于训练后，训练出来的模型之后的输出也是降维后的数据，需要还原回原始维度。这时候需要将pca算法进行逆运算：
X_old=np.dot(Xnew,pca.components)+pca.mean_
即将新数据和components_相乘并加上平均值。
使用上文的例子，代码如下：
X_old=np.dot(X_new,pca.components_)+pca.mean_ fig = plt.figure() ax = Axes3D(fig, rect=[0, 0, 1, 1], elev=30, azim=20) plt.scatter(X_old[:, 0], X_old[:, 1], X_old[:, 2],marker='o')
输出如图：
可以看到，数据即是投影到最大方差方向但并未进行降维时的样子。
*parameter的命名后面没有下划线，而attribute的命名后面都有下划线，以此区分。