期望

离散随机变量的X的数学期望：

E (X) = \sum_{k = 1}^{\infty} x_{k} p_{k}

$E(X) = \sum_{k=1}^{\infty}x_kp_k$

连续型随机变量X的数学期望：

E (X) = \int_{- \infty}^{+ \infty} x f (x) d x

$E(X) = \int_{-\infty}^{+\infty}xf(x)dx$

常见分布的期望

1）泊松分布的期望等于 $\lambda$ ；
2）均匀分布的期望位于区间的中心；
3）高斯分布的期望为 $\mu$
4）二项分布的期望为 $np$

期望的性质

常数的期望等于该常数；
$E(CX) = CE(X)$ ;
$E(X+Y) = E(X) + E(Y)$ ;
$X,Y$ 独立时， $E(XY) = E(X)E(Y)$

方差

研究随机变量与其均值的偏离程度，记为：

D (X) = E [X - E (X)]^{2}

$D(X) = E{[X-E(X)]^2}$

均方差，标准差

σ (X) = \sqrt{E [X - E (X)]^{2}}

$\sigma(X) = \sqrt{E{[X-E(X)]^2}}$

方差的计算

把 $E{[X-E(X)]^2}$ 看做函数 $g(X)$ , 方差相当于求 $g(X)$ 的期望。
对于离散的：

D (X) = \sum_{k = 1}^{\infty} [x_{k} - E (X)]^{2} p_{k}

$D(X) = \sum_{k=1}^{\infty}[x_k-E(X)]^2p_k$
对于连续的：

D (X) = \int_{- \infty}^{+ \infty} [x_{k} - E (X)]^{2} f (x) d x

$D(X) = \int_{-\infty}^{+\infty}[x_k-E(X)]^2f(x)dx$

实际中常用下面公式计算：

D (X) = E (X^{2}) + [E (X)]^{2}

$D(X) = E(X^2)+[E(X)]^2$

常见分布的方差

1）高斯分布的方差 $\sigma^2$
2) 0-1分布的方差为 $D(X) = p(1-p)$
3) 泊松分布的方差为 $\lambda$
4) 均匀分布的方差为 $\frac{(b-a)^2}{12}$
5)指数分布 $f(x) = \frac{1}{\theta}e^{-x/\theta}$ 的方差为 $\theta^2$

性质

协方差

描述两个变量的相关性

C o v = E [X - E (X)] [Y - E (Y)]

$Cov = E{[X-E(X)][Y-E(Y)]}$
相关系数

ρ_{X Y} = \frac{C o v (X, Y)}{\sqrt{D (X)} \sqrt{D (Y)}}

$\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

ρ_{X Y} = 0

$\rho_{XY}=0$ , 两个变量不相关

协方差矩阵

推广到多维：

对于连续的情况：

例子：
可以参考下面的博客。

详解协方差与协方差矩阵：https://blog.csdn.net/ybdesire/article/details/6270328
概率论与数理统计浙大

期望、方差、协方差和协方差矩阵

期望