机器学习|随机变量的方差（离散型、连续型）|10mins入门|概统学习笔记（九）

随机变量的方差

• 背景：随机变量的数学期望体现了随机变量取值的平均水平，而随机变量的方差度量了随机变量取值在其中心附近（数学期望）的离散程度

• 定义：设X是一个随机变量，若 $E[(X-E(X)]^2<\infty$,则称
  $D(X)=E[X-E(X)]^2$
  为X的方差。采用平方是为了保证一切差值 $X-E(X)$都起正面的作用。

  方差的算术平方根 $\sqrt{D(X)}$称为标准差。

• 意义：

  • 若X的取值比较集中，则方差较小；反之，则方差较大
  • 若方差 $D(x)=0$，则r.v X以概率1取常数值

• 实质：方差是随机变量X的函数 $g(X)=[X-E(X)]^2$的数学期望
  $D(X)= \begin{cases} \sum_{k=1}^\infty[x_k-E(X)]^2p_k,\quad X为离散型 \\ \int_{-\infty}^\infty[x_k-E(X)]^2f(x)dx,\quad X为连续型 \end{cases}$
  当X为离散型时， $P(X=x_k)=p_k$

  当X为连续型时， $X$~ $f(x)$

• 计算方差的简化方式

  $D(X)=E(X^2)-[E(X)]^2$

  证明：
  $D(X)=E[X-E(X)]^2\\=E\{X^2-2XE(X)+[E(X)]^2\} \\=E(X^2)-2[E(X)]^2+[E(X)]^2 \\=E(X^2)-[E(X)]^2$

• 方差的性质

  1. 设C是常数，则 $D(C)=0$

  2. 若C是常数，则 $D(CX)=C^2D(X)$

  3. 若 $X_1$与 $X_2$独立，则

     $D(X_1+X_2)=D(X_1)+D(X_2)$

     可推广为：若 $X_1,X_2,...,X_n$相互独立，则

     $D[\sum_{i=1}^nX_i]=\sum_{i=1}^nD(X_i)$

     $D[\sum_{i=1}^nC_iX_i]=\sum_{i=1}^nC_i^2D(X_i)$