【数学与算法】协方差矩阵 与 w*w^T 的关系

下面的二维向量$\vec{W}$只是一个样本，对于多个样本才能谈论协方差，因为协方差和方差是求一系列样本的协方差和方差，单个样本并没有协方差这一说。

下面公式中的求$w1$的期望和方差，是求所有样本的$w1$特征的期望和方差。

不过下面的$\vec{W}{\vec{W}}^T$不叫协方差矩阵，因为各个特征(例如$w1$)没有减去平均值（又叫期望），只有减去平均值（期望）的之后才能叫协方差矩阵，除非期望为0,最后还得除以样本数目，才是协方差矩阵。
$$\vec{W}=\left[\begin{array}{c}w1\\ w2\end{array}\right]$$
那么对于$w1和w2$期望为0的$\vec{W}$协方差矩阵为：
$$P=E(\vec{W}{\vec{W}}^T)$$
注意，上面的协方差是对$\vec{W}{\vec{W}}^T$求期望，并非$协方差=\vec{W}{\vec{W}}^T$。

$$\vec{W}{\vec{W}}^T=\left[\begin{array}{c}w1\\ w2\end{array}\right]\left[\begin{array}{c}w1w2\end{array}\right]=\left[\begin{array}{cc}w{1}^2& w1\ast w2\\ & \\ w1\ast w2& w{2}^2\end{array}\right]$$

对上面等式求期望：
$$E\left[\begin{array}{cc}w{1}^2& w1\ast w2\\ w1\ast w2& w{2}^2\end{array}\right]=\left[\begin{array}{cc}E(w{1}^2)& E(w1\ast w2)\\ & \\ E(w1\ast w2)& E(w{2}^2)\end{array}\right]$$

方差的性质：
$$Var(x)=E(x^2)-E^2(x)\text{\hspace{1em}(1)}$$
如果$\vec{W}$的两个特征$w1,w2$都服从正态分布，那么：
期望为0，即：
$$\{\begin{array}{l}E(w1)=0\\ \\ E(w2)=0\end{array}$$
那么，可以得到：
$$\{\begin{array}{l}Var(w1)=E(w{1}^2)\\ \\ Var(w2)=E(w{2}^2)\end{array}$$
我们还可以求出$w1,w2$的协方差：
$$Cov(w1,w2)=E(w1\ast w2)$$
因此：
$$E(\vec{W}{\vec{W}}^T)=\left[\begin{array}{cc}Var(w1)& Cov(w1,w2)\\ & \\ Cov(w1,w2)& Var(w2)\end{array}\right]\text{\hspace{1em}(2)}$$

上面对等式求期望的那一步，其实就是求期望，只不过$E(w{1}^2)$其实是对很多样本的$w1$求期望，也就是除以样本数量。

---

证明过程：

下面是以三个样本为例求$\vec{W}{\vec{W}}^T$，右上角标表示样本编号：
左边矩阵每列是一个样本,用左上角小括号标注，下面是3个样本。

$$\begin{gathered} \vec{W}{\vec{W}}^T=\left[\begin{array}{ccc}{w}_1^{(1)}& w_1^{(2)}& w_1^{(3)}\\ w_2^{(1)}& w_2^{(2)}& w_2^{(3)}\end{array}\right]\ast \left[\begin{array}{cc}{w}_1^{(1)}& w_2^{(1)}\\ w_1^{(2)}& w_2^{(2)}\\ w_1^{(3)}& w_2^{(3)}\end{array}\right]= \\ \left[\begin{array}{ccc}(w_1^{(1)}{)}^2+(w_1^{(2)}{)}^2+(w_1^{(3)}{)}^2& & w_1^{(1)}\ast w_2^{(1)}+w_1^{(2)}\ast w_2^{(2)}+w_1^{(3)}\ast w_2^{(3)}\\ & & \\ w_1^{(1)}\ast w_2^{(1)}+w_1^{(2)}\ast w_2^{(2)}+w_1^{(3)}\ast w_2^{(3)}& & (w_2^{(1)}{)}^2+(w_2^{(2)}{)}^2+(w_2^{(3)}{)}^2\end{array}\right] \end{gathered}$$

上面式子的$w1$和$w2$虽然期望为0，所以例如$w_1^{(1)}$这样的每个样本的每个特征都可以说已经做过减去均值的运算，但并没有除以样本数量3。矩阵中每项只有再除以样本数量之后，才是协方差矩阵。
下面对它的矩阵中每项除以样本数量3后：

• 左上角元素就是$w1$的方差$Var(w1)$；
• 右上角元素就是$w1,w2$的协方差$Cov(w1,w2)$；
• 左下角元素就是$w1,w2$的协方差$Cov(w1,w2)$；
• 右下角元素就是$w2$的方差$Var(w2)$；

就得到了下面的式子：
$$E(\vec{W}{\vec{W}}^T)=\left[\begin{array}{cc}Var(w1)& Cov(w1,w2)\\ & \\ Cov(w1,w2)& Var(w2)\end{array}\right]$$
上面的式子只针对期望为0的特征。

---

总结：

二维向量$\vec{W}=\left[\begin{array}{c}w1\\ w2\end{array}\right]$的协方差矩阵 与$\vec{W}{\vec{W}}^T$之间可以经过转化得到，只差两步：

• 1.减去均值(期望)；
• 2.除以样本数量。