PCA主成分分析/协方差矩阵

更新中…

参考博文：

1，如何理解主元分析（PCA）
2，协方差-正定矩阵
第1篇博文对PCA做了很详细的说明，本文主要是对以上博文做些补充
博文1提到了协方差矩阵，在此补充一下协方差矩阵的特点。
协方差矩阵又称二阶混合中心矩

协方差公式： $Cov(X,Y)=E(X-EX)(Y-EY) （1）$ $or$ $Cov(X,Y)=E(XY)-(EX)(EY)（2）$
上面两式子是等价的。以高斯分布为例，假如X,Y都服从高斯分布，则可以得到协方差矩阵为：

其中 $\rho$表示变量X,Y的相关系数，满足| $\rho$| $\leq1$(可为负数，表示负相关)。如果X,Y独立，则 $\rho=0$.
协方差矩阵对角线表示变量X,Y自身的方差，而非对角线是变量之间的协方差，包含相关系数，从而可以认为是变量之间相关性程度的一种表现形式。
协方差矩阵的意义：1表示随机变量之间的相关性，2，由公式（1）可知，它还与变量关于自身的期望有关，即(X-EX)和（Y-EY）。当两者其中一个为零时，无论X,Y有多么密切的关系，协方差都为零
由于协方差矩阵是对称矩阵（通常不考虑虚数情况，因此也称为实对称矩阵），则一定可以通过特征值分解，分解为：
$A=U\Lambda U^T$
其中U是正交矩阵（不同行/列之间点积为零，每行各元素平方和=1）， $\Lambda$是对角矩阵。可以证明协方差矩阵是实对称矩阵，从而也是半正定矩阵，即所有的特征值大于或等于0。

等待更新…