机器学习|统计三大分布(卡方分布、t分布、F分布)定义及基本性质|15mins入门|概统学习笔记（二十）

统计三大分布

1. $\chi^2$分布

• 本质： $\chi^2$分布是由正态分布派生出来的一种分布

• 定义：设 $X_1,X_2,...,X_n$相互独立，都服从正态分布 $N(0,1)$，则称随机变量:
  $\chi^2=X_1^2+X_2^2+···+X_n^2$
  所服从的分布为自由度为n的 $\chi^2$分布。记为: $\chi^2$~ $\chi^2(n)$

  $\chi^2$分布的密度函数为：
  $f(x;n)= \begin{cases} \frac{1}{2^{n/2}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}exp(-\frac{x}{2}) & x>0 \\ 0 & 其他 \end{cases}$
  

  其中，伽马函数 $\Gamma(x)$通过积分
  $\Gamma(x)=\int_0^{\infty}exp(-t)t^{x-1}dt \quad x>0$
  $\Gamma$函数的性质：
  $\Gamma(a+1)=a\Gamma(a) \\ \Gamma(1)=\Gamma(0)=1 \\ \Gamma(n+1)=n! \\ \Gamma(\frac{1}{2})=\sqrt(\pi)$

• $\chi^2$分布性质

  1. 设 $X_1,X_2,...,X_n$相互独立，都服从正态分布 $N(\mu,\sigma^2)$，则

     $\chi^2=\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2$~ $\chi^2(n)$

  2. 设 $X_1$_{$\chi^2(n_1)$,$X_2$} $\chi^2(n_2)$，且 $X_1$, $X_2$相互独立，则 $X_1+X_2$~ $\chi^2(n_1+n_2)$

     这个性质叫 $\chi^2$分布的可加性

  3. 若 $X$~ $\chi^2(n)$，则 $E(X)=n, D(X)=2n$

     推论：应用中心极限定理得，若 $X$~ $\chi^2(n)$，则当n充分大时， $\frac{X-n}{\sqrt{2n}}$的分布近似正态分布 $N(0,1)$

  4. $\chi^2$分布的分位点：对于给定的正数 $\alpha(0<\alpha<1),$称满足条件

  $P\{\chi^2>\chi_\alpha^2(n)\}=\int_{\chi_\alpha^2(n)}^{+\infty}f(y)dy=\alpha$

  ​ 的点 $\chi_\alpha^2(n)$为 $\chi^2(n)$分布上的 $\alpha$分位点， $\alpha$是概率

  

2. t分布（学生氏分布）

• 定义：设 $X$_$N(0,1)$,$Y$ $\chi^2(n)$，且X与Y相互独立，则称变量 $T=\frac{X}{\sqrt{Y/n}}$所服从的分布为自由度为n的t分布。记为 $T$~ $t(n)$.

  $T$的密度函数为：
  $f(x;n)=\frac{\Gamma(n+1)/2}{\Gamma(n/2)\sqrt{n\pi}}(1+\frac{x^2}{n})^{-\frac{n+1}{2}}$
  具有自由度为n的t分布的随机变量T的数学期望和方差为：
  $E(T)=0;D(T)=\frac{n}{n-2}, \quad(n>2)$
  t分布的密度函数关于x=0对称，且
  $lim_{|x|\to \infty}f(x;n)=0$
  当n充分大时，其图形类似于标准正态分布密度函数的图形。

​ 不难看出，当n充分大时，t分布近似 $N(0,1)$分布。但对于较小的n，t分布与 $N(0,1)$分布相差很大

• t分布的分位点

  对于给定的 $\alpha(0<a<1)$，称满足条件
  $P\{t>t_\alpha(n)\}=\int_{t_\alpha(n)}^{+\infty}h(t)dt=\alpha$
  的点 $t_\alpha(n)$为 $t(n)$分布的上 $\alpha$分位点， $\alpha$是概率。

由t分布上 $\alpha$分位点的定义及 $h(t)$图像的对称性可知
$t_{1-\alpha}(n)=-t_{\alpha}(n)$

3.F分布

• 定义：设 $X$_{$\chi^2(n_1)$,$Y$} $\chi^2(n_2)$，X与Y相互独立，则称统计量 $F=\frac{X/n_1}{Y/n_2}$，服从自由度为 $n_1$及 $n_2$的F分布， $n_1$称为第一自由度， $n_2$称为第二自由度，记作 $F$~ $F(n_1,n_2)$

  由定义可见， $\frac{1}{F}=\frac{Y/n_2}{X/n_1}$~ $F(n_2,n_1)$

  若X~ $F(n_1,n_2)$，X的概率函数为
  $f(x;n_1,n_2)= \begin{cases} \frac{\Gamma(\frac{n_1+n_2}{2})}{\Gamma(\frac{n_1}{2})\Gamma(\frac{n_2}{2})}(\frac{n_1}{n_2})(\frac{n_1}{n_2}x)^{\frac{n_1}{2}-1}(1+\frac{n_1}{n_2}x)^{-\frac{n_1+n_2}{2}} & x\geq 0 \\ 0 & x<0 \end{cases}$
  X的数学期望为
  $E(X)=\frac{n_2}{n_2-2} \quad 若n_2>2$
  即它的数学期望并不依赖于第一自由度 $n_1$.

  

  若随机变量X服从分布 $F(n,n)$，则

$P\{X\leq1\}=P\{X\geq 1\}=0.5$

• F分布的分位点

  对于给定的 $\alpha(0<\alpha<1)$，称满足条件
  $P\{F>F_\alpha(n_1,n_2)\}=\int_{F_{\alpha}(n_1,n_2)}^{+\infty}h(t)dt=\alpha$
  的点 $F_\alpha(n_1,n_2)$为 $F(n_1,n_2)$分布的上 $\alpha$分位点， $\alpha$是概率

关于F分布的上 $\alpha$分位点的性质：
$F_{1-\alpha}(n_1,n_2)=\frac{1}{F_\alpha(n_2,n_1)}$