数理统计之抽样分布

统计量是我们用来对总体X的分布函数或者是参数进行统计推断的基础，因此往往需要获得统计量 $T(x_1, x_2, x_3)$的分布，这也是数理统计的基本问题之一。我们 称统计量的分布为抽样分布。

特征函数

在讨论抽样分布之前，这里先介绍一个研究随机变量非常重要的一个工具：特征函数。它在我们后面对许多定理和性质的证明起着非常重要的性质。

当我们做信号处理的时候，我们经常将信号做傅里叶变换来研究信号的频域特征。类似于信号处理，对随机变量做傅里叶变换可求得该随机变量的特征函数。下面直接给出特征函数的定义：

定义： 设X是随机变量，称函数 $e^{itX}$的数学期望 $\varphi_X(t)=E(e^{itX})$为X的特征函数，通常也称为X的分布的特征函数。
其中， $i=\sqrt{-1}，t\in(-\infty,+\infty)$。

若X是离散型随机变量，其分布律为 $p_k=P\{X=x_k\}$，则它的分布函数为：
$\varphi(t)=E(e^{itX})=\sum_kp_ke^{itx_k}$
若X是连续型随机变量，其概率密度函数为 $f(x)$，则它的分布函数为：
$\varphi(t)=E(e^{itX})=\int_{-\infty}^{+\infty}f(x)e^{itx}dx$
下面给出几个常见分布的特征函数：
（1）二项分布 $B(n, p)$的特征函数 $\varphi_t=[pe^{it}+(1-p)]^n$
（2）泊松分布 $P(\lambda)$的特征函数 $\varphi_t=exp\{\lambda(e_{it}-1\}$
（3）正态分布 $N(\mu, \sigma^2)$的特征函数 $exp\{i\mu t-\frac{1}{2}\sigma^2t^2\}$

这里不给出推导的过程，有兴趣的读者可以利用定义式进行推导。常见分布的特征函数一般不需要记忆，当需要用到的时候查询即可，毕竟特征函数只是一个研究随机变量的工具。

在介绍特征函数的用途之前先介绍几个特征函数的性质，这些性质在后面推导统计量分布函数和矩等有着很显著的作用。

特征函数的一些重要性质：
（1）有界性，对任意 $t\in(-\infty, +\infty)$，有 $||\varphi(t)||\le\varphi(0)=1$，其中||·||表示复变量的模。
（2）设 $Y=aX+b$，则 $\varphi_Y(t)=e^{ibt}\varphi_X(at)$，其中a,b为常数
（3）若X与Y相互独立，则X+Y的特征函数为 $\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)。$可推广到n个随机变量的和的特征函数为 $\varphi_{X_1+X_2+...+X_n}(t)=\varphi_{X_1}(t)\varphi_{X_2}(t)...\varphi_{X_n}(t)$
（4）若X的n阶原点矩 $E(X^n)$存在，则X的特征函数 $\varphi(t)$的n阶导数存在，且有
$E(X^k)=i^{-k}\varphi^{(k)}(0)，k=1, 2, ...n$
（5）随机变量的分布函数与其特征函数相互唯一确定。

其中，性质（3）常用于求统计量 $T(X_1, X_2, ...X_n)$的特征函数；性质（4）可用于求解随机变量的n阶矩。

三大抽样分布

$\Gamma函数$
在介绍三大抽样分布之前，再介绍一个非常重要的函数： $\Gamma$函数。它再三大分布的分布函数中扮演者很重要的角色。关于 $\Gamma$函数的详细介绍可以参考神奇的伽马函数上。下面仅给出 $\Gamma$函数的定义和性质。

由下列广义积分的实函数
$\Gamma(s)=\int_0^{+\infty}x^{s-1}e{-x}dx ， (s>0)$
称为 $\Gamma$函数。
$\Gamma$函数的基本性质：
（1）递推公式：对一切实数s>0，有 $\Gamma(s+1)=s\Gamma(s)$。
特别的，对任何正整数n，有
$\Gamma(n+1)=n!$
因此， $\Gamma$函数可看作是阶乘函数的推广。
（2）当 $s\rightarrow0^+$时， $\Gamma(s)\rightarrow+\infty$
（3）余元公式：当 $s\in(0,1)$时，有 $\displaystyle\Gamma(s)\Gamma(1-s)=\frac{\pi}{sin(\pi s)}$
特别的，当 $s=\frac{1}{2}$时， $\Gamma(\frac{1}{2})=\sqrt{\pi}$

---

1. 卡方分布

定义： 设 $X_1, X_2,...X_n$是相互独立的随机变量，却 $X_i\sim N(0, 1)(i=1, 2, ...n)$，称随机变量
$\chi^2=X_1^2+X_2^2+...X_n^2$
所服从的分布是自由度为n的 $\chi^2$分布，记为 $\chi^2\sim \chi^2(n)$。
密度函数： $\chi^2(n)分布的概率密度函数为：$
$f(x)= \begin{cases} \frac{1}{2^{\frac{n}{2}}\Gamma{(\frac{n}{2})}}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}，&x>0 \\ 0,&x\le0 \end{cases}$
卡方分布密度函数曲线与自由度的变化规律：

当自由度 $n\rightarrow+\infty$时， $\chi^2(n)$趋近于正态分布。

下面举两个利用特征函数的例子：

例1. 若 $X\sim\chi^2(n)$，求X的特征函数 $\varphi_X(t)$。

解：由特征函数的定义有：
$\begin{aligned} \varphi(t)=E(e^{itX})&=\int_0^{+\infty}\frac{1}{2^{\frac{n}{2}}\Gamma{(\frac{n}{2})}}x^{\frac{n}{2}-1}e^{-\frac{x}{2}} \\&=\frac{1}{2^{\frac{n}{2}}\Gamma{(\frac{n}{2})}}\int_0^{+\infty}x^{\frac{n}{2}-1}e^{-(\frac{1}{2}-it)x}dx \end{aligned}$
令 $y=(\frac{1}{2}-it)x$，则 $x=(\frac{1}{2}-it)^{-1}y$，且 $dx=(\frac{1}{2}-it)^{-1}dy$
带入上式得：
$\begin{aligned} \varphi(t)&=\frac{1}{2^{\frac{n}{2}}\Gamma{(\frac{n}{2})}}\int_0^{+\infty}((\frac{1}{2}-it)^{-1}y)^{\frac{n}{2}-1}e^y(\frac{1}{2}-it)^{-1}dy \\&=\frac{1}{2^{\frac{n}{2}}\Gamma{(\frac{n}{2})}}(\frac{1}{2}-it)^{-\frac{n}{2}}\int_0^{+\infty}y^{\frac{n}{2}-1}e^ydy \\&=\frac{(1-2it)^{-\frac{n}{2}}}{\Gamma{(\frac{n}{2})}}\int_0^{+\infty}y^{\frac{n}{2}-1}e^ydy \end{aligned}$
对比 $\Gamma函数得定义$得：
$\begin{aligned} \varphi(t)&=\frac{(1-2it)^{-\frac{n}{2}}}{\Gamma{(\frac{n}{2})}}\Gamma{(\frac{n}{2})} \\&=(1-2it)^{-\frac{n}{2}} \end{aligned}$
因此， $X\sim\chi^2(n)$的特征函数为 $(1-2it)^{-\frac{n}{2}}$。

例2. 求上例中 $X\sim\chi^2(n)$的期望 $EX$与方差 $DX$。(利用特征函数)

解：由特征函数的性质（4）知：
$E(X)=i^{-1}\varphi'(0)，E(X^2)=i^{-2}\varphi''(0)$
因此计算特征函数的一阶导数和二阶导数得：
$\begin{aligned} \varphi'(t)&=ni(1-2it)^{-\frac{n+2}{2}} \\ \varphi''(t)&=n(n+2)i^2(1-2it)^{-\frac{n+4}{2}} \end{aligned}$
因此， $E(X)=i^{-1}\varphi'(0)=n，E(X^2)=i^{-2}\varphi''(0)=n(n+2)$
方差由一阶矩和二阶矩得计算公式得：： $DX=E(X^2)-[E(X)]^2=n(n+2)-n^2=2n$

综上， $EX=n，DX=2n$

定理： $X\sim\chi^2(n_1)，Y\sim\chi^2(n_2)$，且X与Y相互独立，则
$X+Y\sim\chi^2(n_1+n_2)$
且有推广：
$\sum_{i=1}^kX_i=\chi^2(\sum_{i=1}^kn_i)$
其中 $X_i\sim\chi^2(n_i)$，且 $X_1, X2, ...X_k$相互独立。

该定理可利用特征函数的性质（3）证明，证明过程很简单，读者可以尝试。

---

2. t分布

定义： 设 $X\sim N(0, 1)，Y\sim\chi^2(n)$，且 $X与Y$相互独立，则 称随机变量
$T=\frac{X}{\sqrt{Y/n}}$
所服从的分布是自由度为n的t分布，记为 $T\sim t(n)$。
密度函数： t(n)分布的概率密度函数为：
$f(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{n \pi}\Gamma(\frac{n}{2})}(1+\frac{t^2}{n})^{-\frac{n+1}{2}}$
卡方分布密度函数曲线与自由度的变化规律：

从图中可以看出，t分布的密度函数是对称的，且当 $t\rightarrow+\infty$时，t分布趋近于标准正态 $N(0, 1)$。
定理： 设 $X\sim N(\mu, \sigma^2)，\frac{Y}{\sigma^2}\sim\chi^2(n)$，且X与Y相互独立，则有：
$T=\frac{X-\mu}{\sqrt{Y/n}}\sim t(n)$
此定理可由t分布的定义证明，证明如下：
将T变形为：
$T=\frac{X-\mu}{\sqrt{\frac{Y}{n}}}=\frac{\frac{X-\mu}{\sigma}}{\sqrt{\frac{Y/\sigma^2}{n}}}$
由 $\frac{X-\mu}{\sigma}\sim N(0, 1),Y/\sigma^2\sim\chi^2(n)$，且二者相互独立，由t分布的定义得： $T\sim t(n)$。

---

3. F分布

定义： 设 $X\sim\chi^2(n_1), Y\sim\chi^2(n_2)$，且 $X$与 $Y$相互独立，则称随机变量
$F=\frac{X/n_1}{Y/n_2}$
所服从的分布是自由度为 $(n_1, n_2)$的F分布，记为 $F\sim F(n_1, n_2)$。
密度函数： $F(n_1, n_2)$分布的概率密度函数为：
$f(z)= \begin{cases} \ \frac{\Gamma(\frac{n_1+n_2}{2})}{\Gamma{(\frac{n_1}{2})}\Gamma{(\frac{n_2}{2})}}(\frac{n_1}{n_2})(\frac{n_1}{n_2}z)^{\frac{n_1}{2}-1}(1+\frac{n_1}{n_2}z)^{-\frac{n_1+n_2}{2}},&z>0 \\ 0,&z\le0 \end{cases}$
F分布密度函数曲线随自由度的变化规律如下：

关于F分布有如下几个性质：
（1）若 $F\sim F(n_1, n_2)$，则 $\displaystyle\frac{1}{F}\sim F(n_2, n_1)$
（2）若 $T\sim t(n)$，则 $T^2\sim F(1, n)$

---

正态总体下常用统计量的分布

定理1： 设总体 $X\sim N(\mu, \sigma^2), X_1, X_2, ...X_n$是来自总体X的简单样本，令
$Y=a_1X_1+a_2X_2+...+a_nX_n$
其中 $a_i$是不全为0的常数，则有
$Y\sim N(\mu\sum_{k=1}^na_k, \sigma^2\sum_{k=1}^na_k)$
该定理可利用特征函数进行证明，证明如下：

证明：由特征函数的性质有：
$\varphi_Y(t)=\prod_{k=1}^n\varphi(a_kt)$
其中 $\varphi$为正态分布的特征函数，代入并化简，有
$\begin{aligned} \varphi_Y(t)&=\prod_{k=1}^nexp\{ia_k\mu t-\frac{1}{2}\sigma^2a_k^2t^2\} \\&=exp\{i(\mu\sum_{k=1}^{n}a_k)t-\frac{1}{2}(\sigma^2\sum_{k=1}^na_k^2)t^2\} \end{aligned}$
由正态分布的特征函数及其性质可知，Y服从正太分布，且：
$E(Y)=\mu\sum_{k=1}^na_k，D(Y)=\sigma^2\sum_{k=1}^na_k^2$

推论： 设总体 $X\sim N(\mu, \sigma^2), X_1, X_2, ...X_n$是来自总体X的简单样本，则样本均值 $\bar{X}\sim N(\mu, \frac{\sigma^2}{n})$。

---

定理2： 设 $X_1,X_2, ....X_n$是来自正态总体 $N(\mu, \sigma^2)$的简单样本，则样本均值 $\bar{X}$和样本方差 $\displaystyle S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2$相互独立，且 $\displaystyle\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$。

---

定理3： 设 $X_1, X_2, ...X_n$是来自正态总体 $N(\mu, \sigma^2)$的简单样本，则有
(1) $\displaystyle \frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$

(2) $\displaystyle \frac{(\bar{X}-\mu)^2}{S^2/n}\sim F(1, n-1)$
这里仅给出(1)的证明，利用F分布的性质可以直接得到(2)。

证明：由定理1和定理2可得：
$\displaystyle \frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0, 1)，\frac{(n-1)S^2}{\sigma^2}\sim\chi^2{(n-1)}$
且二者相互独立，于是由t分布的定义得：
$\displaystyle \frac{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}}{\sqrt{\frac{(n-1)S^2}{\sigma^2}/(n-1)}}=\frac{\bar{X}-\mu}{S/\mu}\sim t(n-1)$

---

定理4： 设 $X_1, X_2, ..., X_{n1}$是来自正态总体 $N(\mu_1, \sigma_1^2)$的简单样本， $Y_1, Y_2, ..., Y_{n2}$是来自正态总体 $N(\mu_2, \sigma_2^2)$的简单样本，且两样本相互独立，则
$F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1, n_2-1)$

证明: 由定理2有
$\displaystyle\frac{(n_1-1)S_1^2}{\sigma_1^2}\sim\chi^2(n_1-1)，\displaystyle\frac{(n_2-1)S_2^2}{\sigma_2^2}\sim\chi^2(n_2-1)$
再由F分布的定义可得：
$\frac{\frac{(n_1-1)S_1^2}{\sigma_1^2}/(n_1-1)}{\frac{(n_2-1)S_2^2}{\sigma_2^2}/(n_2-1)}=\frac{S_1^2/\sigma^2_1}{S_2^2/\sigma_2^2}\sim F(n_1-1, n_2-1)$

---

分位数

定义： 设随机变量X的分布函数为 $F(x)$，对任意给定的实数 $p(0<p<1)$，若存在 $x_p$使得
$P\{X\le x_p\}=F\{x_p\}=p$
则称 $x_p$为此概率分布的p分位数。

需要指出的是，当X为连续型随机变量时，因为分布函数 $F(x)$是连续的，所以对任意给定的实数 $p(0<p<1)$，满足上述等式的 $x_p$总存在，但可能不唯一。
当X为离散型随机变量时，因为分布函数 $F(x)$是右连续的、阶梯的，所有对于满足上述等式的 $x_p$不一定存在。

(1)标准正态：对于标准正态分布 $N(0, 1)$，用 $z_p$表示其分布的p分位数，即
$P\{X\le z_p\}=p$
由于标准正态分布的概率密度函数图形关于y轴对称，因此有 $z_{1-p}=-z_p。$

（2）卡方分布：对于自由度为n的 $\chi^2$分布 $\chi^2(n)$,用 $\chi_p^2(n)$表示其分布的p分位数，即
$P\{\chi^2\le\chi^2_p(n)\}=p$

（3）t分布：对于自由度为n的t分布t(n),用 $t_p(n)$表示其分布的p分位数，即
$P\{T\le t_p(n)\}=p$
和标准正态相同，t分布的概率密度函数图形关于y轴对称，因此 $t_{1-p}(n)=-t_p(n)$。
（4）F分布：对自由度为 $n_1, n_2$的F分布 $F(n_1, n_2)$，用 $F_p(n_1, n_2)$表示其分布的p分位数，即
$P\{F\le F_p(n_1, n_2\}=p$
为了计算方便，上述四种重要分布的分位数一般通过查表得出。

---

总结

本文的主要内容是介绍数理统计中抽样分布的基础知识。为了方便研究统计量的分布，首先介绍了一个很重要的工具：特征函数，它在求解统计量的分布函数和证明统计量的许多性质起着非常重要的作用。此外，由于许多统计量的密度函数都与伽玛函数密切相关，因此还介绍了一些关于伽玛函数的一些基本性质，伽马函数实际上是阶乘函数在连续空间中的延拓。
在介绍完一些预备知识之后，我们对数理统计中非常重要的三个抽样分布： $\chi^2$分布、t分布以及F分布进行了一系列的讨论，其中特征函数在其中扮演者很重要的性质。介绍完这三个抽样分布之后，我们还对正态总体下一些常用的统计量的分布进行了讨论，如样本均值 $\bar{X}$和样本方差 $S^2$的分布等。最后，我们对几个重要的分布的分位数进行了简单介绍，这对后续的计算打下一定的基础。