机器学习|矩和协方差矩阵|15mins入门|概统学习笔记（十三）

矩、协方差矩阵

• k阶原点矩 $E(X^k)$

• k阶中心距 $E([X-E(X)]^k)$

• k阶绝对原点矩 $E(|X|^k)$

• k阶绝对中心矩 $E(|X-E(X)|^k)$

  其中k是正整数。

• 混合（原点）矩：设X和Y是随机变量，若
  $E(X^kY^L) \quad k,L=1,2,...$
  存在，称它为X和Y的k+L阶混合（原点）矩

• 混合中心矩：设X和Y是随机变量，若
  $E\{[X-E(X)]^k[Y-E(Y)]^L\} \quad k,L=1,2,...$
  存在，称它为X和Y的k+L阶混合中心矩。

  因此，协方差 $Cov(X,Y)$是X和Y的二阶混合中心矩

• 协方差矩阵：将二维随机变量 $(X_1,X_2)$的四个二阶中心矩

  ​ $C_{11}=E\{[X_1-E(X_1)]^2\}$

  ​ $C_{12}=E\{[X_1-E(X_1)][X_2-E(X_2)]\}$

  ​ $C_{21}=E\{[X_2-E(X_2)][X_1-E(X_1)]\}$

  ​ $C_{22}=E\{[X_2-E(X_2)]^2\}$

  排成矩阵的形式：
  $\begin{pmatrix}c_{11} & c_{12} \\c_{21} & c_{22}\end{pmatrix}$
  称此矩阵为 $(X_1,X_2)$的协方差矩阵。

  类似定义n维随机变量 $(X_1,X_2,...,X_n)$的协方差矩阵

  若
  $c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\} \quad i,j=1,2,...,n$
  都存在，称矩阵
  $c=\begin{pmatrix}c_{11} & c_{12} & \cdots & c_{1n} \\c_{21} & c_{22} & \cdots & c_{2n} \\\vdots & \vdots & \ddots & \vdots \\c_{n1} & c_{n2} & \cdots & c_{nn} \end{pmatrix}$
  为 $(X_1,X_2,...,X_n)$的协方差矩阵