Law Of Large Numbers - 大数定律 - 大数定理

Law Of Large Numbers - 大数定律 - 大数定理

大数实质上可以理解为多数。

在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。这个定理就是在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然。

大数定律分为弱大数定律和强大数定律。

大数定律是一种描述当试验次数很大时所呈现的概率性质的定律。大数定律并不是经验规律，而是在一些附加条件上经严格证明了的定理，它是一种自然规律因而通常不叫定理而是大数定律。

如果统计数据足够大，那么事物出现的频率就能无限接近他的期望值。

1. 切比雪夫大数定理 (切比雪夫不等式)

设 $x_{1}, x_{2}, ..., x_{n}$ 是相互独立的随机变量 (或者两两不相关)，他们分别存在期望 $E(x_{k})$ 和方差 $D(x_{k})$。若存在常数 $C$ 使得， $D(x_{k}) \leq C (k = 1, 2, ..., n)$
则对任意小的正数 $\epsilon$，满足下列公式

${\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{1}{n} \sum_{k=1}^{n} x_{k} - \frac{1}{n} \sum_{k=1}^{n} E(x_{k})| < \epsilon \} = 1$

随着样本容量 n 的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。

切比雪夫大数定理并未要求 $x_{1}, x_{2},... , x_{n}$ 同分布，相较于伯努利大数定律和辛钦大数定律更具一般性。

2. 伯努利大数定律

设 $\mu$ 是 $n$ 次独立试验中事件 A 发生的次数，且事件 A 在每次试验中发生的概率为 $P$，则对任意正数 $\epsilon$，

${\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{\mu_{n}}{n} - p| < \epsilon \} = 1$

扫描二维码关注公众号，回复： 10044906 查看本文章

伯努利大数定律是切比雪夫大数定律的特例，当 n 足够大时，事件 A 出现的频率将几乎接近于其发生的概率，即频率的稳定性。

3. 辛钦大数定律

设 $\{a_{i}, i \geq 1\}$ 为独立同分布的随机变量序列，若 $a_{i}$ 的数学期望存在，则服从大数定律。对任意正数 $\epsilon$，

${\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{1}{n} \sum_{i=1}^{n} a_{i} - \mu| < \epsilon \} = 1$

辛钦大数定律指出用算术平均值来近似实际真值是合理的，而在数理统计中，用算术平均值来估计数学期望就是根据此定律，这一定律使算术平均值的法则有了理论依据。

对于弱大数定律，上述收敛是指依概率收敛 (in probability)。
对于强大数定律，上述收敛是指几乎必然收敛 (almost surely/with probability one)。

大数定律通俗来讲就是样本数量很大的时候，样本均值和真实均值充分接近。大数定律与中心极限定理一起，成为现代概率论、统计学、理论科学和社会科学的基石。