随机变量的数字特征

数学期望

离散型

设离散型随机变量$X$的分布律为：

$$P\{X=x_k\}=p_k,\quad k=1,2,\cdots$$
若 级数 $$\sum_{k=1}^{\infty}x_kp_k$$
绝对收敛，则称 级数$\sum_{k=1}^{\infty}x_kp_k$的和为随机变量 $X$的 数学期望，即为 $E(X)$
即：
$$E(X)=\sum_{k=1}^{\infty}x_kp_k$$

连续型

设连续型随机变量$X$的概率密度为$f(x)$，若积分

$$\int_{-\infty}^{+\infty}xf(x)\mathbb{d}x$$
绝对收敛，则称积分 $\int_{-\infty}^{+\infty}xf(x)\mathbb{d}x$的值为变量 $X$的 数学期望，记为 $E(X)$，即：
$$E(x)=\int_{-\infty}^{+\infty}xf(x)\mathbb{d}x$$
数学期望简称 期望，又称 均值
数学期望$E(X)$完全由随机变量$X$的概率分布所确定。若$X$服从某一分布，也称$E(X)$是这一分布的数学期望。

定理：

设$Y$是随机变量$X$的函数：$Y=g(X)$（$g$是连续函数）
$(I)$如果$X$是离散型随机变量，它的分布律$P\{X=x_k\}=p_k,k=1,2,\cdots$，若$\sum_{k=1}^{\infty}g(x_k)p_k$绝对收敛，则有：

$$E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k$$
$(II)$如果 $X$是 连续型随机变量，它的概率密度为 $f(x)$，若 $\int_{-\infty}^{\infty}g(x)f(x)\mathbb{d}x$绝对收敛，则有：
$$E(Y)=E[g(X)]=\int_{-\infty}^{\infty}g(x)f(x)\mathbb{d}x$$

方差

方差是为了研究随机变量与其均值的偏离程度。

$$E\left\{|X-E(X)|\right\}$$
能够度量随机变量与其均值的偏离程度。但是由于上式带有绝对值，运算不方便，于是为了运算方便起见。通常使用 $$E\left\{[X-E(X)]^2\right\}$$ 来度量随机变量 $X$与其均值 $E(X)$的 偏离程度。

定义：

设$X$是一个随机变量，若$E\left\{[X-E(X)]^2\right\}$存在，则称$E\left\{[X-E(X)]^2\right\}$为$X$的方差，记为$D(X)$或$Var(X)$，即：

$$D(X)=Var(x)=E\left\{[X-E(X)]^2\right\}$$ 在应用上还引入量 $\sqrt{D(X)}$，记为 $\sigma{(X)}$称为 标准差或 均方差
由定义而言方差就是随机变量$X$的函数$g(X)=\left[X-E(X)\right]^2$的数学期望
于是对于 离散型随机变量有： $$D(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k$$
其中 $P\{X=x_k\}=p_k,k=1,2,\cdots$是 $X$的分布律
对于 连续型随机变量有： $$D(X)=\int_{-\infty}^{\infty}[x-E(X)]^2f(x)\mathbb{d}x$$ 其中 $f(x)$是 $X$的概率密度
随机变量 $X$的方差可以按照以下公式计算：
$$D(X)=E(X^2)-[E(X)]^2$$

标准化变量

设随机变量$X$具有数学期望$E(X)=\mu$,方差$D(X)=\sigma^2\neq0$记：

$$X^{*}=\dfrac{X-\mu}{\sigma}$$
则 $$E(X^{*})=\dfrac{1}{\sigma}E(X-\mu)==\dfrac{1}{\sigma}[E(X)-\mu]=0$$
$$\begin{aligned}D(X^{*})&=E({X^{*}}^2)-[E(X^{*})]^2=E\left[\left(\dfrac{X-\mu}{\sigma}\right)^2\right]\\ &=\dfrac{1}{\sigma^2}E[(X-\mu)^2]=\dfrac{\sigma^2}{\sigma^2}=1\\ \end{aligned}$$
方差的几个重要性质：
$1^{\circ}$

设$C$是常数，则$D(C)=0$
$2^{\circ}$

设$X$是随机变量，$C$是常数，则有

$$D(\color{red}CX)=\color{red}{C^2}D(X),\quad D(X+\color{red}C)=D(X)$$
$3^{\circ}$

设$X,Y$是两个随机变量，则有

$$D(\color{red}X+\color{blue}Y)=D(\color{red}X)+D(\color{blue}Y)+2E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}$$
特别的若 $X,Y$相互独立，则有
$$D(\color{red}X+\color{blue}Y)=D(\color{red}X)+D(\color{blue}Y)$$
$4^{\circ}$

$D(X)=0$的充分必要条件是$X$以概率为$1$取常数$E(X)$，即：

$$P\{X=E(X)\}=1$$

协方差及相关系数

在方差的性质$3^{\circ}$中，如果两个随机变量$X$和$Y$相互独立则：$E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}=0$这意味着如果$E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}\neq0$，$X$和$Y$不相互独立，而是存在一定的关系。
定义：
量$E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}$称为随机变量$X$与$Y$的协方差，记为$Cov(X,Y)$，即：

$$Cov(X,Y)=E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}$$ 而： $\rho_{XY}=\dfrac{Cov_{XY}}{\sqrt{D(X)}\sqrt{D(Y)}}$称为变量 $X$和 $Y$的 相关系数。
由定义：
$$Cov(X,Y)=Cov(Y,X);Cov(X,X)=D(X)$$
协方差性质：
$1^{\circ}$ : $Cov(aX,bY)=abCov(X,Y)$
$2^{\circ}$ : $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

$\rho_{XY}$性质：

$1^{\circ}$:$|\rho_{XY}|\leq1$
$2^{\circ}$:$|\rho_{XY}|=1$的充分必要条件是，存在常数$a,b$使得：

$$P\{Y=a+bX\}=1$$
$3^{\circ}$： $|\rho_{XY}|=0$称 $X$和 $Y$ 不相关

矩，协方差矩阵

定义：

设$X$和$Y$是随机变量

---

若：

$$E(X^k),\quad k=1,2,\cdots$$
存在，称它为 $X$的 $k$阶原点矩，简称 $k$阶矩。

---

若

$$E\{[X-E(X)]^k\},\quad k=2,3,\cdots$$
存在，则称它为 $X$的 $k$阶中心矩

---

若

$$E(X^kY^\ell),\quad k,\ell=1,2,\cdots$$
存在，称它为 $X$和$Y$的 $k+\ell$阶混合矩

---

若

$$E\{[X-E(X)]^k[Y-E(Y)]^\ell\},\quad k,\ell=1,2,\cdots$$
存在，则称它为 $X$和$Y$的 $k+\ell$阶混合中心矩

协方差矩阵

$2$维

二维随机变量$(X_1,X_2)$有四个二阶中心矩(假设都存在),分别记为：

$$\begin{aligned}c_{11}&=E\{[X_1-E(X_1)]^2\}\\ c_{12}&=E\{[X_1-E(X_1)]\}E\{[X_2-E(X_2)]\}\\ c_{21}&=E\{[X_2-E(X_2)]\}E\{[X_1-E(X_1)]\}\\ c_{22}&=E\{[X_2-E(X_2)]^2\}\\ \end{aligned}$$
把它们排列成矩阵形式：
$$\begin{pmatrix}c_{11}&c_{12}\\ c_{21}&c_{22}\end{pmatrix}$$
这个矩阵称为随机变量 $(X_1,X_2)$的 协方差矩阵。
$n$维
设 $n$维随机变量 $(X_1,X_2,\cdots,X_n)$的 二阶混合中心矩
$$c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)]\}E\{[X_j-E(X_j)]\},i,j=1,2,\cdots,n$$ 都存在，则称矩阵
$$C=\begin{pmatrix} c_{11}&c_{12}&\cdots&c_{1n}\\ c_{21}&c_{22}&\cdots&c_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ c_{n1}&c_{n2}&\cdots&c_{nn}\\\end{pmatrix}$$ 为 $n$维随机变量 $(X_1,X_2,\cdots,X_n)$的 协方差矩阵。由于 $c_{ij}=c_{ji},\quad (i\neq j;i,j=1,2,\cdots,n)$而上述矩阵是一个 对称矩阵。