$5 大数定律和中心极限定理

$5 大数定律和中心极限定理

$5.1大数定律

依概率收敛

设 $\{X_n\}$为一随机变量序列， $X$为一随机变量或常数，若对 $\forall \epsilon > 0$，有

$\lim\limits_{n\to\infin} P\{|X_n-X|<\epsilon\} = 1$

则称 $\{X_n\}$依概率收敛于 $X$,记为 $X_n\overset{P}{\longrightarrow}X$ 或 $X_n-X\overset{P}{\longrightarrow}0\ (n\rightarrow\infin)$.

---

伯努利（Bernoulli）大数定律

n次独立重复试验中，只要独立重复试验的次数n充分大，结合实际推断原理，知：

可以用事件的频率来代替事件的概率。

$\lim\limits_{n\to\infin} P\{|\frac{n_A}{n}-p|<\epsilon\} = 1$ 或

$\lim\limits_{n\to\infin} P\{|\frac{n_A}{n}-p|\geq\epsilon\} = 0$ .

---

切比雪夫（Chebyshev）大数定律

$①设随机变量序列X_1,X_2,...,X_n相互独立;\\②具有相同的数学期望和方差.\\E(X_k) = \mu,D(X_k) = \sigma^2,k=1,2,...\\则\forall \epsilon > 0有:$

$\lim\limits_{n\to\infin} P\{\bigg|\frac{1}{n}\sum\limits_{k=1}^nX_k-\mu\bigg|\geq\epsilon\} = 0$ 或

$\lim\limits_{n\to\infin} P\{\bigg|\frac{1}{n}\sum\limits_{k=1}^nX_k-\mu\bigg|<\epsilon\} = 1$.

---

辛钦大数定律（弱大数定律）

$①设随机变量序列X_1,X_2,...,X_n独立同分布;\\②数学期望E(X_k) = \mu,k=1,2,...\\则\forall \epsilon > 0有:\\\lim\limits_{n\to\infin} P\{\bigg|\frac{1}{n}\sum\limits_{k=1}^nX_k-\mu\bigg|<\epsilon\} = 1\\即\overline{X}\overset{P}{\longrightarrow}\mu.$

*注：

• 辛钦大数定律较切比雪夫大数定律弱，不要求随机变量的方差存在。

• 伯努利大数定律是辛钦定理的特殊情况。

---

$5.2中心极限定理

在实际问题中许多随机变量是由相互独立随机因素的综合（或和）影响所形成的.

如果一个随机变量是由大量相互独立的随机因素的综合影响所造成，而每一个别因素对这种综合影响中所起的作用不大. 则这种随机变量一般都服从或近似服从正态分布.

在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做中心极限定理.

---

林德贝格-列维中心极限定理(独立同分布的中心极限定理)

$①设随机变量序列X_1,X_2,...,X_n相互独立;\\②具有相同的数学期望和方差.\\E(X_k) = \mu,D(X_k) = \sigma^2,k=1,2,...\\则随机变量之和\sum\limits_{k=1}^nX_k的标准化变量\\Y_n= \frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}, \forall x,满足$
$\lim\limits_{n\to\infin} P\bigg\{\frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}\leq x\bigg\} = \int_{-\infin}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=Φ(x)\\ 且\\ \sum\limits_{k=1}^nX_k\overset{近似地}{\sim}N(n\mu,n\sigma^2)\\ \frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}\overset{近似地}{\sim}N(0,1)\\ 或\\ \overline{X} = \frac{1}{n}\sum\limits_{k=1}^nX_k\\ \overline{X}\overset{近似地}{\sim}N(\mu,\frac{\sigma^2}{n})\\ \frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\overset{近似地}{\sim}N(0,1)$

---

李雅普诺夫（Lyapunov）定理（独立不同分布的中心极限定理）

$①设随机变量序列X_1,X_2,...,X_n相互独立;\\②具有数学期望和方差如下\\E(X_k) = \mu_k,D(X_k) = \sigma_k^2,k=1,2,...\\记B_n^2=\sum\limits_{k=1}^n\sigma_k^2.\\若\exist\delta>0,使得当n\rightarrow\infin时，$
$\frac{1}{B_n^{2+\delta}}\sum\limits_{k=1}^nE\big\{|X_k-\mu_k|^{2+\delta}\big\}\rightarrow0,$
$则随机变量之和\sum\limits_{k=1}^nX_k的标准化变量$
$Z_n= \frac{\sum\limits_{k=1}^nX_k-E(\sum\limits_{k=1}^nX_k)}{\sqrt{D(\sum\limits_{k=1}^nX_k)}}=\frac{\sum\limits_{k=1}^nX_k-\sum\limits_{k=1}^n\mu_k}{B_n},$
$\forall x,满足$
$\lim\limits_{n\to\infin} P\bigg\{\frac{\sum\limits_{k=1}^nX_k-\sum\limits_{k=1}^n\mu_k}{B_n}\leq x\bigg\} = \int_{-\infin}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=Φ(x)\\ 且\\ \sum\limits_{k=1}^nX_k\overset{近似地}{\sim}N(\sum\limits_{k=1}^n\mu_k,B_n^2)\\ Z_n\overset{近似地}{\sim}N(0,1)$

---

棣莫弗—拉普拉斯定理(二项分布的中心极限定理)

$设\eta_n(n=1,2,...)服从参数为n,p(0<p<1)的二项分布，则对\forall x,$

$\lim\limits_{n\to\infin} P\bigg\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\bigg\} = \int_{-\infin}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt =Φ(x)$
且
$P\{a<X<b\}\approxΦ(\frac{b-np}{\sqrt{npq}})-Φ(\frac{a-np}{\sqrt{npq}}),where\ q=1-p$
$P\{X=k\}\approx\frac{1}{\sqrt{2\pi npq}}e^{-\frac{(k-np)^2}{2npq}}=\frac{1}{\sqrt{npq}}\varphi(\frac{k-np}{\sqrt{npq}})$

*注：

• 正态分布与泊松分布都是二项分布的极限分布，但是

  • 泊松分布要求： $n\rightarrow\infin,p\rightarrow0,np\rightarrow\lambda$
  • 棣莫弗—拉普拉斯定理要求： $n\rightarrow\infin$

• 由于二项分布是离散分布，而正态分布是连续分布，

  所以用正态分布作为二项分布的近似时，可作修正：

  $P\{a-0.5<X<b+0.5\}\approxΦ(\frac{b+0.5-np}{\sqrt{npq}})-Φ(\frac{a-0.5-np}{\sqrt{npq}}),where\ q=1-p$

---

$5.3中心极限定理的应用

已知n和y，求概率

已知n和概率，求y

已知y和概率，求n