【1】应用多元统计分析-规范化写法及前提

【1】应用多元统计分析-规范化写法及前提

一、随机向量

• \(p\)维随机向量：把\(p\)个随机变量放在一起得到：

\[ X= \left( \begin{array} {c} X_1\\ X_2\\ \vdots\\ X_p \end{array} \right) \]

• 样品：若同时对\(p\)个变量做一次观测，得到观测值：

\[ X_{(1)}= \left( \begin{array} {c} x_{11}\\ x_{12}\\ \vdots\\ x_{1p} \end{array} \right)\to X_{(i)}= \left( \begin{array} {c} x_{i1}\\ x_{i2}\\ \vdots\\ x_{ip} \end{array} \right)，(i=1,2,\dots,n) \]

• 样本：观察\(n\)次得到n个样品构成一个样本；

  • 样本数据库：把\(n\)个样品排成一个\(n\times p\)矩阵，记为

\[ X= \left( \begin{array} {cccc} x_{11} & x_{12} & \dots & x_{1p}\\ x_{21} & x_{22} & \dots & x_{2p}\\ \vdots & \vdots & & \vdots \\ x_{n1} & x_{n2} & \dots & x_{np}\\ \end{array} \right)= \left( \begin{array} {c} X'_{(1)}\\ X'_{(2)}\\ \vdots\\ X'_{(n)} \end{array} \right)=(\mathcal{X}_1,\mathcal{X}_2\dots,\mathcal{X}_p) \]

其中\(\mathcal{X}_i\)表示矩阵的第\(i\)列，在观测后表示对第\(i\)个变量的\(n\)次观测，观测前表示一个\(n\)维随机向量

以后若非特别强调，则以上述定义为准。

1.1 随机向量的分布

• 联合分布

称\(p\)元函数：
\[ F(x_1,\dots,x_p)=P\{X_1\leq x_1\dots X_p\leq x_p\} \]
为\(X\)的联合分布函数；

若存在非负函数\(f=(x_1，\dots，x_p)\)可以使得随机向量\(X\)的联合分布函数对一切\((x_1,\dots,x_p)\in\R^p\)均可表示为：
\[ F(x_1,\dots,x_p)=\underbrace{\int_{-\infty}^{x_1}\dots\int_{-\infty}^{x_p}}_{共p次}f(x_1,\dots,x_p)dx_1\dots dx_p \]
则称\(X\)为连续型随机变量，称\(f=(x_1，\dots，x_p)\)为\(X\)的联合概率密度函数，简称为多元密度函数，且具备两条性质：

1. （非负性）\(f=(x_1，\dots，x_p)\geq0\) 对 \(\forall{x_1，\dots，x_p}\in\R\);
2. （正则性）\(\int_{-\infty}^{x_1}\dots\int_{-\infty}^{x_p}f(x_1,\dots,x_p)dx_1\dots dx_p=1\)

• 边缘分布

称随机向量\(X\)的部分分量\((X_{i_1},\dots,X_{i_m})'，(1\leq m<p),\)为边缘分布。

设：
\[ X=\left[ \begin{array}{C} X^{(1)}_{r}\\ x^{(2)}_{p-r} \end{array} \right] \]
则：
\[ \begin{align} f_1(x^{(1)}) =&f_1(x_1,\dots,x_r)\\ =&\int_{-\infty}^{\infty}\dots\int_{-\infty}^{\infty}f(x_1,\dots,x_p)dx_{r+1}\dots dx_p \end{align} \]
这是因为：
\[ \begin{align} f_(x_1,\dots,x_{p-1}) =&\int_{-\infty}^{x_1} \dots \int_{-\infty}^{x_{p-1}} \left[ \int_{-\infty}^{\infty} f(x_1,\dots,,x_{p-1},x_p)dx_p \right] dx_{1}\dots dx_{p-1}\\ =&\int_{-\infty}^{x_1} \dots \int_{-\infty}^{x_{p-1}} f_*(x_1,\dots,,x_{p-1})dx_{1}\dots dx_{p-1}\\ \end{align} \]
则若取边际分布，只需要将不需要的变量，取\(\int_{-\infty}^{\infty}(*)dx_i\)即可

• 条件分布

同上节，对于\(X=[X^{(1)},X^{(2)}]'\),当\(X\)的密度函数为：\(f(x^{(1)},x^{(2)})\)时，给定\(X^{(2)}\)时\(X^{(1)}\)的条件密度为：
\[ f(x^{(1)}|\ x^{(2)})=\frac{f(x^{(1)},x^{(2)})}{f_2(x^{(2)})},f_2(x^{(2)})为X^{(2)}关于X的边缘密度 \]

• 独立性

对于\(p\)维随机变量\(X_i\)的分布函数记为：\(F_i(x_i),(i=1,2,\dots p)\),而\(F(X_1,\dots,X_p)\)是\(X\)的联合分布函数，若对一切实数\(x_1,\dots x_p\):
\[ F(X_1,\dots,X_p)=F_1(x_1)\dots F_p(x_p) \]
均成立，则称\(X_1,\dots,X_p\)相互独立

1.2 随机向量的数字特征

• 随机向量\(X\)的均值向量

若\(E(X_i)=\mu_i\)存在，则：
\[ E(X)= \left[ \begin{array}{c} E(X_1)\\ \vdots\\ E(X_p) \end{array} \right] = \left[ \begin{array}{c} \mu_1\\ \vdots\\ \mu_p \end{array} \right] \]

• 随机向量\(X\)的协方差阵
  若\(X_i\)和\(X_j\)的协方差\(Cov(X_i,X_j)\)存在，则称：
  \[ \begin{align} D(X)&=E[(X-E(X))(X-E(X))']\\ &= \left[ \begin{array}{cCCC} Cov(X_1,X_1) &Cov(X_1,X_2) &\dots &Cov(X_1,X_p)\\ Cov(X_2,X_1) &Cov(X_2,X_2) &\dots &Cov(X_2,X_p)\\ \vdots\\ Cov(X_p,X_1) &Cov(X_p,X_2) &\dots &Cov(X_p,X_p)\\ \end{array} \right]\\ &=(\sigma_{ij})_{p\times p}\\ ::&=\Sigma \end{align} \]
  均值向量和协方差阵的性质

1. 设\(X,Y\)为随机向量，\(A,B\)为常数矩阵，则

• \(E(AXB)=AE(X)B\)
• \(Cov(AX,BY)=ACov(X,Y)B\)

\[ \begin{align} Cov(AX,BY)&=E[(AX-E(AX))(BY-E(BY))']\\ &=E(A(X-E(X))\left[B(Y-E(Y))]'\right)\\ &=E(A(X-E(X))\left[(Y-E(Y))'B]\right)\\ &=AE[(X-E(X))(Y-E(Y))']B\\ &=ACov(X,Y)B \end{align} \]

1. 若\(X,Y\)相互独立，则协方差阵为零矩阵，反之不一定成立；

对于\(Cov(X,Y)=E[(X-E(X))(Y-E(Y))']\),
\[ \begin{align} E[(X-E(X))(Y-E(Y))'] =& E\left[ \left[ \begin{array}{c} X_1-\mu_1\\ \vdots\\ X_p-\mu_p \end{array} \right] [Y_1-a_1,\dots,Y_q-a_q] \right]\\ =& \left[ \begin{array}{cCCC} Cov(X_1,Y_1) &Cov(X_1,Y_2) &\dots &Cov(X_1,Y_q)\\ Cov(X_2,Y_1) &Cov(X_2,Y_2) &\dots &Cov(X_2,Y_q)\\ \vdots\\ Cov(X_p,Y_1) &Cov(X_p,Y_2) &\dots &Cov(X_p,Y_q)\\ \end{array} \right]\\ =& \left[ \begin{array}{cCC} E(X_1Y_1)-E(X_1)E(Y_1) &\dots &E(X_1Y_q)-E(X_1)E(Y_q)\\ E(X_2Y_1)-E(X_2)E(Y_1) &\dots &E(X_2Y_q)-E(X_2)E(Y_q)\\ \vdots\\ E(X_pY_1)-E(X_p)E(Y_1) &\dots &E(X_pY_q)-E(X_p)E(Y_q)\\ \end{array} \right]\\ =& \left[ \begin{array}{cCCC} E(X_1Y_1) &E(X_1Y_2) &\dots &E(X_1Y_q)\\ E(X_2Y_1) &E(X_2Y_2) &\dots &E(X_2Y_q)\\ \vdots\\ E(X_pY_1) &E(X_pY_2) &\dots &E(X_pY_q)\\ \end{array} \right] \\ &-\left[ \begin{array}{cCCC} E(X_1)E(Y_1) &E(X_1)E(Y_2) &\dots &E(X_1)E(Y_q)\\ E(X_2)E(Y_1) &E(X_2)E(Y_2) &\dots &E(X_2)E(Y_q)\\ \vdots\\ E(X_p)E(Y_1) &E(X_p)E(Y_2) &\dots &E(X_p)E(Y_q)\\ \end{array} \right]\\ =&E(XY)-E(X)E(Y) \end{align} \]
当两个事件独立的时候，显然有\(E(XY)=E(X)E(Y)\)，因此\(Cov(X,Y)=O\),因此相互独立的随机向量协方差阵为零矩阵。

而反之，不成立。

• 随机向量\(X\)和\(Y\)的协方差阵
  同理可以定义随机向量\(X\)和\(Y\)的协方差阵
  \[ \begin{align} Cov(X,Y)&=E[(X-E(X))(Y-E(Y))']\\ &= \left[ \begin{array}{cCCC} Cov(X_1,Y_1) &Cov(X_1,Y_2) &\dots &Cov(X_1,Y_q)\\ Cov(X_2,Y_1) &Cov(X_2,Y_2) &\dots &Cov(X_2,Y_q)\\ \vdots\\ Cov(X_p,Y_1) &Cov(X_p,Y_2) &\dots &Cov(X_p,Y_q)\\ \end{array} \right]\\ \end{align} \]
  若\(Cov(X,Y)=O\)则称，\(X，Y\)不相关。

• 随机向量\(X\)的相关阵

若\(X_i\)和\(Y_i\)的协方差\(Cov(X_i,Y_i)\)存在，则称\(R=(r_{ij})_{p\times p}\)为\(X\)的相关阵，
\[ r_{ij}=\frac{\sigma_{ij}}{\sqrt{\sigma_{ii}\sigma_{jj}}}=\frac{Cov(X_i,X_j)}{\sqrt{Var(X_i)}\sqrt{Var(X_j)}} \]
若记：
\[ V^{1/2}= \left[ \begin{array}{cccc} \sqrt{\sigma_{11}} &0 &\dots &0\\ 0 &\sqrt{\sigma_{22}}&\dots &0\\ 0 &0 &\dots &0\\ 0 &\dots &0&\sqrt{\sigma_{pp}} \\ \end{array} \right]=diag(\sqrt{\sigma_{ii}}) \]
为标准差矩阵，则：
\[ \Sigma=V^{1/2}RV^{1/2} \]

二、多元正态分布