数学期望与方差

数学期望

数学期望简称期望, 又称为均值. 数学期望 $E(x)$完全由随机变量 $X$的概率分布所确定. 若 $X$服从某一分布, 也称 $E(X)$是这一分布的数学期望.

定义

1. 设离散型随机变量 $X$的分布律为
   $P\{X=x_k\}=p_k \quad k=1, 2, \cdots$
   若级数
   $\sum_{k=1}^{\infty} x_k p_k$
   绝对收敛, 则称级数 $\sum_{k=1}^{\infty} x_k p_k$的和为随机变量 $X$的数学期望, 记为 $E(X)$. 即
   $E(X) = \sum_{k=1}^{\infty} x_k p_k$
2. 设连续型随机变量 $X$的概率密度为 $f(x)$, 若积分
   $\int_{-\infty}^{\infty} x f(x) dx$
   绝对收敛, 则称积分 $\int_{-\infty}^{\infty} x f(x) dx$的值为随机变量 $X$的数学期望, 记为 $E(X)$. 即
   $E(X) = \int_{-\infty}^{\infty} x f(x) dx$

性质

1. 设 $Y$是随机变量 $X$的函数: $Y=g(X)$ ( $g$是连续函数).
   (i) 如果 $X$是离散型随机变量, 它的分布律为 $P\{X=x_k\}=p_k \quad k=1, 2, \cdots$, 若级数 $\sum_{k=1}^{\infty} g(x_k) p_k$绝对收敛, 则有
   $E(Y) = E \left[ g(X) \right] = \sum_{k=1}^{\infty} g(x_k) p_k$
   (ii)如果 $X$是连续型随机变量, 它的概率密度为 $f(x)$, 若 $\int_{-\infty}^{\infty} g(x) f(x) dx$绝对收敛, 则有
   $E(Y) = E \left[ g(x) \right] = \int_{-\infty}^{\infty} g(x) f(x) dx$
   证明见p.95

方差

研究随机变量与其平均值的偏离程度是十分必要的, 那么, 用怎样的量去度量这个偏离程度呢? 容易看到
$E \{ | X - E(X) | \}$
能度量随机变量与其平均值 $E(X)$的偏离程度. 但由于上式还有绝对值, 运算不方便, 为运算方便起见, 通常用量
$E \{ \left[ X - E(X) \right] ^2 \}$
来度量随机变量 $X$与其均值 $E(X)$的偏离程度.

定义

设 $X$是一个随机变量, 若 $E \{ \left[ X - E(X) \right] ^2 \}$存在, 则称 $E \{ \left[ X - E(X) \right] ^2 \}$为 $X$的方差, 记为 $D(X)$或 $Var(X)$, 即
$D(X) = Var(X) = E \{ \left[ X - E(X) \right] ^2 \}$
在应用上还引入是 $\sqrt{D(X)}$, 记为 $\sigma(X)$, 称为标准差或均方差.
按定义, 随机变量 $X$的方差表达了 $X$的取值与其数学期望的偏离程度. 若 $D(X)$较小意味着取值比较集中在 $E(X)$的附近, 反之, 若 $D(X)$较大则表示 $X$的取值比较分散. 因此, $D(X)$是刻画 $X$取值分散程度的一个量, 它是衡量 $X$取值分散程度的一个尺度.

由定义可知, 方差实际上就是随机变量 $X$的函数 $g(X)=(X-E(X))^2$的数学期望. 于是对于离散型随机变量, 按期望的性质1有
$D(X)=\sum_{k=1}^\infty \left[ x_k - E(X) \right]^2 p_k$
其中 $P\{X=x_k\}=p_k, \quad k=1,2,\cdots$是 $X$的分布律.
对于连续型随机变量, 按期望的性质1有
$D(X)=\int_{-\infty}^\infty \left[ x - E(X) \right] ^2 f(X) dx$
其中 $f(x)$是 $X$的概率密度.

性质

1. 随机变量 $X$的方差可按下列公式计算
   $D(X)=E(X^2)-[E(X)]^2$
2. 设 $C$是常数, 则 $D(C)=0$
3. 设X是随机变量, $C$是常数, 则有
   $D(CX)=C^2 D(X), \qquad D(X+C)=D(X)$
4. 设 $X, Y$是两个随机变量, 则有
   $D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}$
5. $D(X)=0$的充要条件是 $X$以概率1取常数 $E(X)$, 即
   $P\{X=E(X)\}=1$

注：本章所有证明来自《概率论与数理统计》（浙江大学第四版）