大数定律（1）：Markov不等式

在概率论中有许多著名的大数定律。它们主要结果如下:

给定一个随机变量$X$. 它可能是离散的随机变量（样本空间有限或者可数），也可能是连续随机变量（样本空间不可数）。这里说的样本空间，是指随机变量$X$可能取值的范围。从测度论的角度来看，样本空间总可以认为是实数集，或者其子集。因为如果样本空间不是实数集或者其子集，那么我们总能找到从样本空间到实数集或者其子集的一一映射。假设随机变量$X$的期望$E[X]$有限，如果我们依随机变量i.i.d.（独立同分布，Independently and identically distributed）地生成$N$个样本，记为$X_1,X_2,...,X_N$, 那么这N个样本的均值趋近于$X$的期望。也即

$$\frac{1}{N}\sum_{i=1}^N X_i \rightarrow E[X].$$

当然，上式仅仅是一个很笼统的形式，并没有精确描述样本均值收敛的形式。与数学分析中定义的收敛不同，概率论意义下的收敛（或者，更确切地说，测度论意义下的收敛）共有以下几种收敛形式：

• 依概率收敛
• 几乎处处收敛

• 几乎处处一致收敛

  上面三种收敛形式逐步增强，也就是说几乎处处收敛必然导致依概率收敛。其中依概率收敛对应的是本文讲的大数定律，而几乎处处收敛有非常著名的中心极限定理。几乎处处收敛和几乎处处一致收敛，需要一些测度论的知识，才能真正理解。因此，我们这里仅引用依概率收敛。

大数定律有很多。比较著名的有切比雪夫不等式和切诺夫界。这两个不等式都可以通过Markov不等式证得。因此，我们先介绍Markov不等式。

定理1. 如果随机变量$X$是非负的，那么

$$\Pr\{X>a\} < \frac{E[X]}{a}$$
对所有的 $a > 0$成立。

证明： 设$X$的概率密度函数为$p(x)$，那么

$$\begin{array}{lll} E[X] &=&\int_{0}^{\infty}x\cdot p(x)dx\\ &\geq&\int_{a}^{\infty}x\cdot p(x)dx\\ &\geq&a\int_{a}^{\infty} p(x)dx\\ &=&a\cdot \Pr\{X>a\}. \end{array}$$

扫描二维码关注公众号，回复： 2582909 查看本文章

将上式稍加整理，便完成了定理的证明。