【机器学习】主成分分析法

原创声明：本文为犇丿灬犇原创文章未经博主允许不得转载。犇丿灬犇博客地址 [犇丿灬犇博客]

主成分分析（Principal components analysis，以下简称PCA）是一种简单的机器学习算法。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。可以通过线性代数的方法进行推导。

推导过程

假设在$\mathbb R^n$空间有$m$个点$\{x^{(1)},x^{(2)},...x^{(m}\}$，我们希望对这些点进行有损压缩。这可以使我们使用更少的内存来存储信息，但我们希望精度损失尽可能少。
主成分分析是一种编码方法，即用函数$f(\mathbf x)=\mathbf c$，其中$\mathbf x\in \mathbb R^n$，$\mathbf c\in \mathbb R^m$,$m<n$，主成分分析选择解码函数为$g(\mathbf c)=\mathbf {Dc}$，其中$\mathbf D\in\mathbb R^{n\times m}$，其列向量彼此正交且为单位向量，为得到一个最优解$\mathbf c^*$，需要使$\mathbf c与\mathbf x$的距离最小，即：

$$\mathbf c^*= \arg\min_{\mathbf c} \|\mathbf x-g(\mathbf c)\|_2^2$$
也即：
$$\mathbf c^*= \arg\min_{\mathbf c} \ (\mathbf x-g(\mathbf c))^T(\mathbf x-g(\mathbf c))$$
由于 $\mathbf x^T\mathbf x$不依赖于 $\mathbf c$因此
$$\mathbf c^*= \arg\min_{\mathbf c} \ (-2\mathbf x^Tg(\mathbf c)+g(\mathbf c)^Tg(\mathbf c))$$
更进一步带入 $g(\mathbf c)=\mathbf {Dc}$

$$\mathbf c^*= \arg\min_{\mathbf c} \ (-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)$$

根据梯度下降法取$(-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)$的梯度等于零

$$\bigtriangledown_{\mathbf c} (-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)=0$$
得：
$$\mathbf c=\mathbf D^T \mathbf x$$
因此
$$\mathbf x\approx g(f(\mathbf x))=\mathbf{D^TDx}=r(\mathbf x)$$
接下来分析如何挑选 $\mathbf D$，要挑选最优的 $\mathbf D$就必须使所有的点重构值与真实值之间距离和最小，即：
$$\mathbf D^*= \arg\min_{\mathbf D}\sqrt{\sum_{i,j}( x_j^{(i)}-r(\mathbf x^{(i)})_j)^2}\ ,这里\mathbf D^T\mathbf D=\mathbf I_l$$
为简化运算以寻求 $\mathbf D^*$的算法，取 $l=1$此时 $D$变为一个列向量 $\bf d$。

整理得：

$$\mathbf d^*= \arg\min_{\mathbf d}\sum_{i}\|\mathbf x^{(i)}-\mathbf {dd^Tx}^{(i)})\|^2\ ,这里\mathbf d^T\mathbf d=1$$
将求和形式写成矩阵形式：
$$\mathbf d^*= \arg\min_{\mathbf d}\|\mathbf X-\mathbf {Xdd^T}\|^2\ ,这里\mathbf d^T\mathbf d=1$$
不考虑 $\mathbf d^T\mathbf d=1$
得：
$$\begin{equation} \begin{split} \mathbf d^*&= \arg\min_{\mathbf d}\|\mathbf X-\mathbf {Xdd^T}\|^2\\ &= \arg\min_{\mathbf d} \ Tr((\mathbf X-\mathbf {Xdd^T})^T(\mathbf X-\mathbf {Xdd^T})) \end{split} \end{equation}$$
整理(除去与 $\bf d$无关项)得：
$$\begin{equation} \begin{split} \mathbf d^*&= \arg\min_{\mathbf d}(-2Tr(\mathbf{X^TXdd^T})+Tr(\mathbf{X^TXdd^Tdd^T})) \end{split} \end{equation}$$

考虑$\mathbf d^T\mathbf d=1$

$$\begin{equation} \begin{split} \mathbf d^*&= \arg\min_{\mathbf d}(-Tr(\mathbf{X^TXdd^T})) \\ &=\arg\max_{\mathbf d}(Tr(\mathbf{X^TXdd^T}))\\ &=\arg\max_{\mathbf d}(Tr(\mathbf{d^TX^TXd})) \end{split} \end{equation}$$
上式可以通过特征分解求解，最优的 $\bf d$是 $\bf{X^TX}$的最大特征值对应的特征向量。此为 $l=1$时的情况，更一般的，主成分分析可以取 $l$个特征值对应的特征向量，这可以用数学归纳法证明。

sklearn中主成分分析法的使用

class sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)

参数含义

n_components

意义：PCA算法中所要保留的主成分个数n，也即保留下来的特征个数n
类型：int 或者 string，缺省时默认为None，所有成分被保留。
赋值为int，比如n_components=1，将把原始数据降到一个维度。
赋值为string，比如n_components=’mle’，将自动选取特征个数n，使得满足所要求的方差百分比。

copy:

类型：bool，True或者False，缺省时默认为True。
意义：表示是否在运行算法时，将原始训练数据复制一份。
若为True，则运行PCA算法后，原始训练数据的值不会有任何改变，因为是在原始数据的副本上进行运算；
若为False，则运行PCA算法后，原始训练数据的值会改，因为是在原始数据上进行降维计算。

whiten:

类型：bool，缺省时默认为False
意义：白化，使得每个特征具有相同的方差。

类对象

components_ ：返回具有最大方差的成分。
explained_variance_ratio_：返回 所保留的n个成分各自的方差百分比。
n_components_：返回所保留的成分个数n。
mean_：
noise_variance_：

类方法

fit(X,y=None)

fit()可以说是scikit-learn中通用的方法，每个需要训练的算法都会有fit()方法，它其实就是算法中的“训练”这一步骤。因为PCA是无监督学习算法，此处y自然等于None。
fit(X)，表示用数据X来训练PCA模型。
函数返回值：调用fit方法的对象本身。比如pca.fit(X)，表示用X对pca这个对象进行训练。

fit_transform(X)

用X来训练PCA模型，同时返回降维后的数据。
newX=pca.fit_transform(X)，newX就是降维后的数据。

inverse_transform()

将降维后的数据转换成原始数据，X=pca.inverse_transform(newX)

transform(X)

将数据X转换成降维后的数据。当模型训练好后，对于新输入的数据，都可以用transform方法来降维。

此外，还有get_covariance()、get_precision()、get_params(deep=True)、score(X, y=None)等方法。

1. https://www.cnblogs.com/eczhou/p/5433856.html
2. [美]伊恩·古德费洛（Lan Goodfellow）[加]约书亚·本吉奥（Yoshua Bengio）[加]亚伦·库维尔（Aaron Courville）深度学习【M】