今天看到PCA，看到了协方差矩阵，想回顾一下协方差矩阵的一些概念和意义。老会忘掉协方差的求法，还有一直不知道其代表的意义，比如两个变量X,Y，X和Y的协方差会算，也知道协方差不为0的话表示两个变量之间有联系，但是一直不知道是什么联系。
协方差
变量X和Y的协方差：
COV(X,Y)=E((X-E(X))(Y-E(Y))) ，COV(X,Y)=E(XY)-E(X)E(Y)
如果X和Y是统计独立的，则其协方差为0，因为E(XY)=E(X)E(Y)，则表明X和Y是线性不相关（线性无关）的（可能有非线性的关系）。反之协方差为0却不一定表明X和Y是统计独立的。
协方差矩阵
变量X,Y,Z的协方差矩阵为
协方差的意义
X和Y的协方差不为0的时候，表明X和Y是相关的，当COV(X,Y)>0的时候，X增大时Y也增大，X减小，Y也减小；；COV(X,Y)<0时，X增大则Y减小，X减小则Y增大。
协方差矩阵求法
X=(1,2,3,4,5,6)T,Y=(1,4,2,6,2,3)T
E(X)=3.5,E(Y)=3,D(X)=2.020833,D(Y)=2.666667
则协方差矩阵为
参考资料：
[1] http://zh.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE
[2] http://blog.csdn.net/wuhzossibility/article/details/8087863 协方差的意义
