【概率论】期末复习笔记：假设检验

一、假设检验的基本概念

假设检验：对总体提出某项假设→用样本检验假设
接受假设：认为假设正确
拒绝假设：认为假设错误

假设检验分为参数假设、分布假设

1. 假设检验的基本原理

实际推断原理：一个小概率事件在一次实验中是几乎不可能发生的
假设检验的思想：构造一个适用于检验假设$H_0$的统计量（检验统计量），若假设$H_0$成立则检验统计量满足一个条件（如果$H_0$成立则满足条件的概率很大），现在看样本满不满足这个条件，若满足则接受$H_0$，若不满足则拒绝$H_0$（这表明小概率事件发生了，原假设不成立，类似于拒取式推理）。

2. 两类错误

拒绝域$W$：当检验统计量的观测值落在$W$时，拒绝$H_0$
接受域$\overline{W}$：当检验统计量的观测值落在$\overline{W}$时，接受$H_0$
临界值：拒绝域和接受域的临界点

两类错误：
第I类错误：$H_0$为真但被拒绝了
第II类错误：$H_0$为假但被接受了

显著性水平$\alpha$：犯第I类错误的概率， P { 拒绝 H 0 ∣ H 0 为真 } = α P\{\text{拒绝}H_0|H_0\text{为真}\}=\alpha P{ 拒绝H0​∣H0​为真}=α，反映了拒绝$H_0$的说服力
$\beta$：犯第II类错误的概率， P { 接受 H 0 ∣ H 0 不真 } = β P\{\text{接受}H_0|H_0\text{不真}\}=\beta P{ 接受H0​∣H0​不真}=β
在样本容量$n$一定的情况下，$\alpha$减小，$\beta$就会增大

显著性检验：控制犯第I类错误的概率不超过一个值（显著性水平），不考虑第II类错误
显著性水平为$\alpha$的检验法：犯第I类错误的概率不超过$\alpha$，即 P { 拒绝 H 0 ∣ H 0 为真 } ≤ α P\{\text{拒绝}H_0|H_0\text{为真}\}\le\alpha P{ 拒绝H0​∣H0​为真}≤α
在所有显著性水平为$\alpha$的检验法中，犯第II类错误的概率$\beta$最小的检验法为最好的检验法

3. 假设检验的一般步骤

(1) 充分考虑和利用已知的背景知识提出原假设$H_0$即备择假设$H_1$。

$H_1$是$H_0$的对立面，称为对立假设或备择假设。$H_0$一般是“要保护的假设”或“维持现状的假设”，错误拒绝假设$H_0$比错误拒绝假设$H_1$带来更严重的后果。实践中，$H_0$不应被轻易否定，若否定必须要有充分的理由。

(2) 确定检验统计量$Z$，并在$H_0$成立的前提下导出$Z$的概率分布，要求$Z$的分布不依赖于任何未知参数。

这里的$Z$与参数估计中的枢轴量类似，选取$Z$的原因都是为了排除未知参数的干扰，用一个确定的分布求出拒绝域。

(3) 确定拒绝域。依据直观分析先确定拒绝域的形式，然后根据给定的水平$\alpha$和$Z$的分布，由 P { 拒绝 H 0 ∣ H 0 为真 } = α P\{\text{拒绝}H_0|H_0\text{为真}\}=\alpha P{ 拒绝H0​∣H0​为真}=α确定拒绝域的临界值，从而确定拒绝域。

确定拒绝域与参数估计中确定置信区间的过程类似。

(4) 作一次具体的抽样，根据得到的样本值和上面确定的拒绝域对$H_0$作出拒绝或接受的判断。

如果$Z$的观测值落入拒绝域$W$，则拒绝原假设$H_0$，接受备择假设$H_1$；若落入接受域$\overline{W}$，则接受原假设$H_0$，拒绝备择假设$H_1$。
$$\begin{gathered} Z\in \overline{W}⟶H_0\sout{H_1} \\ Z\in W⟶H_1\sout{H_0} \end{gathered}$$

4. $p$值

$p$值：利用样本值的拒绝原假设的最小显著性水平称为$p$值。
$$\begin{gathered} \alpha <p⟶H_0\sout{H_1}=Z\text{落入接受域内} \\ \alpha \ge p⟶H_1\sout{H_0}=Z\text{落入拒绝域内} \end{gathered}$$$p$值是“拒绝”的最小显著性水平，也就是说如果$\alpha$大于等于$p$，那就拒绝。直观地讲，$\alpha$越小，越不容易拒绝原假设$H_0$，拒绝$H_0$就越有说服力；$\alpha$越小，拒绝域也就越“小”。

在固定$\alpha$的情况下，$p$越大，越容易接受$H_0$（简称“$p$越大越好”）。

我感觉，$\alpha$是一种对拒绝$H_0$的“容忍度”，也就是对$H_0$的“怀疑程度”；$\alpha$越小，对$H_0$的怀疑程度越小，越容易接受$H_0$。$p$值是对$H_0$的最小“怀疑程度”，如果$\alpha <p$，那么这个$\alpha$比$p$对$H_0$“更有信心”，所以接受$H_0$。总结起来，就是：$\alpha$越小，对$H_0$越有信心。

用拒绝域判断的方法称为临界值法，用$p$值的叫做$p$值法。

二、正态总体参数的假设检验

检验统计量服从正态分布$\to u$检验法
检验统计量服从${\chi }^2$分布$\to {\chi }^2$检验法
检验统计量服从$t$分布$\to t$检验法
检验统计量服从$F$分布$\to F$检验法

对于单个总体的情形，我们设$X\text{~}N(\mu ,{\sigma }^2)$；对于两个总体的情形，我们设$X\text{~}N({\mu }_1,{\sigma }_1^2)$，$Y\text{~}N({\mu }_2,{\sigma }_2^2)$。$X$的样本容量为$n$，样本方差为$S_X^2$；$Y$的样本容量为$m$，样本方差为$S_Y^2$。

下面是单个总体的情形（$X\text{~}N(\mu ,{\sigma }^2)$）。

${\sigma }^2\text{已知，检验}\mu \text{与}{\mu }_0\text{的关系}$

双侧假设检验：提出假设：$$\begin{array}{rlr}& H_0:\mu ={\mu }_0& \\ & H_1:\mu \ne {\mu }_0& \end{array}$$回顾一下$\alpha$是犯第一类错误的概率，即当$H_0$成立时 P { 拒绝 H 0 } = α P\{\text{拒绝}H_0\}=\alpha P{ 拒绝H0​}=α。因为只有假设$H_0$成立我们才能继续分析，所以我们必须令$H_0$先成立，即$\mu ={\mu }_0$成立。此时$X\text{~}N({\mu }_0,{\sigma }^2)$，我们给出检验统计量$U=\frac{\sqrt{n}\left(\overline{X}-{\mu }_0\right)}{\sigma }\text{~}N(0,1)$。$H_0$什么时候成立呢？就是样本均值$\overline{X}$与${\mu }_0$比较接近的时候成立，太离谱了就拒绝。现在我们已经假定$H_0$成立了，只要保证$U$的观测值落入拒绝域的概率为$\alpha$就可以了。这和区间估计类似，因为 P { U ≥ u α / 2 或 U ≤ − u α / 2 } = α P\{U\ge u_{\alpha/2}\text{或}U\le-u_{\alpha/2}\}=\alpha P{ U≥uα/2​或U≤−uα/2​}=α，所以拒绝的时候就是$|U|\ge u_{\alpha /2}$的时候。对于确定的样本，我们算出样本的$U$值，然后判断$|U|$和$u_{\alpha /2}$的关系就可以了。如果$|U|\ge u_{\alpha /2}$，那么也就说在$H_0$成立的条件下一个概率仅仅只有$\alpha$的事件发生了，这说明$H_0$不太可能成立，所以我们拒绝$H_0$。注意，$U$衡量的是$\overline{X}$与$\mu$的差异，差异太大就拒绝$H_0$；$U$中除以$\sigma$的目的是去除量纲，进行标准化。

单侧假设检验：提出假设：$$\begin{array}{rlr}& H_0:\mu ={\mu }_0& \\ & H_1:\mu \ge {\mu }_0& \end{array}$$因为均值$\mu$不会小于${\mu }_0$，所以$U\le -u_{\alpha /2}$的拒绝域就不存在了，只剩下$U\ge \text{某个值}$的拒绝域。这个值是多少呢？不要忘了，$U$落入拒绝域的概率是$\alpha$，所以显然这个值是$u_{\alpha }$，拒绝域为$U\ge u_{\alpha }$。把$H_0$改成$H_0:\mu \le {\mu }_0$，拒绝域还是一样的。

${\sigma }^2\text{未知，检验}\mu \text{与}{\mu }_0\text{的关系}$

检验统计量$T=\frac{\sqrt{n}\left(\overline{X}-{\mu }_0\right)}{S}\text{~}t(n-1)$
拒绝域与${\sigma }^2$已知时类似，就是把$u_{\alpha }$换成了$t_{\alpha }(n-1)$而已。

$\mu \text{已知，检验}{\sigma }^2\text{与}{\sigma }_0^2\text{的关系}$

检验统计量${\chi }^2=\frac{\sum _{i=1}^n{\left(X_i-\mu \right)}^2}{{\sigma }_0^2}\text{~}{\chi }^2(n)$

$\mu \text{未知，检验}{\sigma }^2\text{与}{\mu }_0\text{的关系}$

检验统计量${\chi }^2=\frac{\sum _{i=1}^n{\left(X_i-\overline{X}\right)}^2}{{\sigma }_0^2}=\frac{(n-1)S^2}{{\sigma }_0^2}\text{~}{\chi }^2(n-1)$

双侧假设检验$H_0:{\sigma }^2={\sigma }_0^2,H_1:{\sigma }^2\ne {\mu }_0^2$的拒绝域为$\left\{{\chi }^2\le {\chi }_{1-\alpha /2}^2(n-1)\right\}\bigcup \left\{{\chi }^2\ge {\chi }_{\alpha /2}^2(n-1)\right\}$。

单侧假设检验$H_0:{\sigma }^2={\sigma }_0^2,H_1:{\sigma }^2>{\sigma }_0^2$的拒绝域为${\chi }^2\ge {\chi }_{\alpha }^2(n-1)$。
单侧假设检验$H_0:{\sigma }^2={\sigma }_0^2,H_1:{\sigma }^2<{\sigma }_0^2$的拒绝域为${\chi }^2\le {\chi }_{1-\alpha }^2(n-1)$。

${\sigma }_1^2,{\sigma }_2^2\text{已知，检验}{\mu }_1-{\mu }_2\text{与}\Delta \mu \text{的关系}$

检验统计量$U=\frac{\left(\overline{X}-\overline{Y}\right)-\Delta \mu }{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}\text{~}N(0,1)$

${\sigma }_1^2={\sigma }_2^2\text{未知，检验}{\mu }_1-{\mu }_2\text{与}\Delta \mu \text{的关系}$

检验统计量$T=\frac{\left(\overline{X}-\overline{Y}\right)-\Delta \mu }{S_W\sqrt{\frac{1}{n}+\frac{1}{m}}}\text{~}t(n+m-2)$，其中$S_W=\sqrt{\frac{(n-1)S_X^2+(m-1)S_Y^2}{n+m-2}}$

${\mu }_1,{\mu }_2\text{已知，检验}\frac{{\sigma }_1^2}{{\sigma }_2^2}\text{与}c\text{的关系}$

检验统计量$F=\frac{\sum _{i=1}^n\frac{{(X_i-{\mu }_1)}^2}{n}}{\sum _{j=1}^m\frac{{(Y_j-{\mu }_2)}^2}{m}}/c=\frac{1}{c}\frac{m\sum _{i=1}^n{(X_i-{\mu }_1)}^2}{n\sum _{j=1}^m{(Y_j-{\mu }_2)}^2}\text{~}F(n,m)$

${\mu }_1,{\mu }_2\text{未知，检验}\frac{{\sigma }_1^2}{{\sigma }_2^2}\text{与}c\text{的关系}$

检验统计量$F=\frac{1}{c}\frac{S_X^2}{S_Y^2}\text{~}F(n-1,m-1)$

注意$F_{1-\alpha }(n,m)=\frac{1}{F_{\alpha }(m,n)}$（要干三件事情：①取倒数、②$1-\alpha$变$\alpha$、③交换$n,m$的次序）。拒绝域与${\chi }^2$检验类似。

$\text{检验统计量的记忆方法}$

1. 单个变量检验均值：为了把分布标准化，我们需要排除三个因素的影响：均值（$\mu$）、样本容量（$n$）、标准差（$\sigma$或$S$），其中排除标准差也是使数据无量纲化。所以，分别对应标准差已知与未知，我们有统计量$U=\frac{\sqrt{n}\left(\overline{X}-\mu \right)}{\sigma }$和$T=\frac{\sqrt{n}\left(\overline{X}-\mu \right)}{S}$，前者服从$N(0,1)$，后者服从$t(n-1)$。

2. 单个变量检验方差：我们的统计量应该服从卡方分布，注意${\chi }^2(n)$的期望是$n$，所以我们要求当知道均值时我们的统计量的期望应该是$n$，不知道均值时为$n-1$。注意$E\left[\sum _{i=1}^n{\left(X_i-\mu \right)}^2\right]=nE\left[{\left(X_1-\mu \right)}^2\right]$，而$\mu =E(X_1)$，所以根据方差的定义有$E\left[{\left(X_1-\mu \right)}^2\right]={\sigma }^2$，因此$E\left[\sum _{i=1}^n{\left(X_i-\mu \right)}^2\right]=n{\sigma }^2$。同时我们知道，$E\left(S^2\right)={\sigma }^2$，即$E\left[\sum _{i=1}^n{\left(X_i-\overline{X}\right)}^2\right]=(n-1){\sigma }^2$。因此，我们采用的两个检验统计量分别为$\frac{\sum _{i=1}^n{\left(X_i-\mu \right)}^2}{{\sigma }^2}$和$\frac{\sum _{i=1}^n{\left(X_i-\mu \right)}^2}{{\sigma }^2}$，分别服从自由度为$n$和$n-1$的卡方分布。可以理解为：在我们用到的检验统计量中，量纲是平方且期望是$n$的就服从${\chi }^2(n)$。

3. 两个变量检验均值差：注意$\overline{X}-\overline{Y}\text{~}N\left({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}\right)$。模仿单个变量检验均值时的情形，方差已知的情况这里不再赘述；对于方差未知的情况，要求${\sigma }_1^2={\sigma }_2^2$，为方便起见我们都记为${\sigma }^2$。此时$D\left(\overline{X}-\overline{Y}\right)={\sigma }^2\left(\frac{1}{n}+\frac{1}{m}\right)$，所用的检验统计量应为$\frac{\left(\overline{X}-\overline{Y}\right)-({\mu }_1-{\mu }_2)}{\sigma \sqrt{\frac{1}{n}+\frac{1}{m}}}$，但$\sigma$未知，所以我们必须把$\sigma$替换为一个用$S_X$和$S_Y$表示的估计值。怎么估计呢？我们设估计${\sigma }^2$的量是$S_W^2$。首先，这个$S_W^2$的期望必须是${\sigma }^2$；其次，它除以${\sigma }^2$以后必须服从${\chi }^2(n+m-2)$（要求自由度是满的）。我们想想，$\sum _{i=1}^n{\left(X_i-\overline{X}\right)}^2+\sum _{j=1}^m{\left(Y_j-\overline{Y}\right)}^2$是什么呢？它其实就是$(n-1)S_X^2+(m-1)S_Y^2$，而且$\frac{(n-1)S_X^2+(m-1)S_Y^2}{{\sigma }^2}\text{~}{\chi }^2(n+m-2)$，$E\left(\frac{(n-1)S_X^2+(m-1)S_Y^2}{n+m-2}\right)={\sigma }^2$。所以，我们就用$S_W=\sqrt{\frac{(n-1)S_X^2+(m-1)S_Y^2}{n+m-2}}$来替换检验统计量中的$\sigma$，得到$T=\frac{\left(\overline{X}-\overline{Y}\right)-({\mu }_1-{\mu }_2)}{S_W\sqrt{\frac{1}{n}+\frac{1}{m}}}$。

4. 两个变量检验方差比：其实检验统计量就是一个$\frac{\text{测得的方差比}}{\text{要求的方差比}}$的形式。还有一种理解方式：我们知道${\chi }_X^2=\frac{(n-1)S_X^2}{{\sigma }_1^2}\text{~}{\chi }^2(n-1)$，${\chi }_Y^2=\frac{(m-1)S_Y^2}{{\sigma }_2^2}\text{~}{\chi }^2(m-1)$，根据$F$分布的性质我们知道$\frac{{\chi }_X^2/(n-1)}{{\chi }_Y^2/(m-1)}\text{~}F(n-1,m-1)$，也就是$\frac{S_X^2/{\sigma }_1^2}{S_Y^2/{\sigma }_2^2}\text{~}F(n-1,m-1)$。

$\text{成对数据的假设检验}$

有的时候，$X_1,X_2,\cdots ,X_n$和$Y_1,Y_2,\cdots ,Y_n$之间不一定相互独立，$X_i$与$Y_i$之可能有很强的关联，但不同的$(X_i,Y_i)$之间没有关联。在这种情况下我们如何考察均值差呢？

设有$n$对相互独立的样本$(X_1,Y_1),(X_2,Y_2),\cdots ,(X_n,Y_n)$，令$Z_i=Y_i-X_i(i=1,2,\cdots ,n)$，显然$Z_1,Z_2,\cdots ,Z_n$相互独立。设$Z_1,Z_2,\cdots ,Z_n$是来自总体$N(\mu ,{\sigma }^2)$的样本，则可以对$\mu$进行假设检验。一般情况下${\sigma }^2$是未知的，所以我们选取的检验统计量一般是$T=\frac{\sqrt{n}\left(\overline{X}-{\mu }_0\right)}{S}$。

三、分布假设检验

1. 分布拟合检验的概念

分布拟合检验：设$(X_1,X_2,\cdots ,X_n)$是来自总体$X$的样本，要根据此样本检验假设$$\begin{array}{rlr}& H_0:X\text{的分布函数为}F(x)& \\ & H_1:X\text{的分布函数不是}F(x)& \end{array}$$这里$F(x)$是理论分布函数，它可以是已知的，或是形式已知、但包含未知参数的函数。分布拟合检验就是要考察用$F(x)$拟合$X$的分布时，拟合的优良程度如何？

2. 皮尔逊定理

皮尔逊定理 设一个随机试验的$r$个结果$A_1,A_2,\cdots ,A_r$构成互斥完备事件群，在一次试验中它们发生的概率分别为$p_1,p_2,\cdots ,p_r$，其中$p_i>0(i=1,2,\cdots ,r)$，且$\sum _{i=1}^r{p}_i=1$。以$m_i$表示在$n$次独立重复试验中$A_i$发生的次数，则当$n\to \infty$时随机变量${\chi }^2=\sum _{i=1}^r\frac{{(m_i-n{p}_i)}^2}{n{p}_i}$的分布收敛于自由度为$r-1$的${\chi }^2$分布。

3. ${\chi }^2$拟合检验法

(1) 理论分布$F(x)$完全已知的情形

设$X_1,X_2,\cdots ,X_n$是来自总体$X$的样本，$F(x)$是一个完全已知的分布函数，在显著性水平$\alpha$下，检验假设$$\begin{array}{rlr}& H_0:X\text{的分布函数为}F(x)& \\ & H_1:X\text{的分布函数不是}F(x)& \end{array}$$方法如下：

1. 将总体$X$的取值范围划分为$r$个互不相交的子集（区间）$A_1,A_2,\cdots ,A_r$，则其构成互斥完备事件群（$r$不大，$n$很大）。注意，样本容量较大，一般$n\ge 50$；分组时每个区间所含样本数$m_i\ge 5$。
2. 在$H_0$成立的前提下，计算事件$A_i$的频率为$P(A_i)=p_i$，则事件$A_i$发生的频数为$n{p}_i$。
3. 统计出样本值$x_1,x_2,\cdots ,x_n$中，事件$A_i$发生的实际频率$m_i$。
4. 在显著性水平$\alpha$下，考虑统计量${\chi }^2=\sum _{i=1}^r\frac{{(m_i-n{p}_i)}^2}{n{p}_i}$。如果数据确实服从$F(x)$规定的分布，那么${\chi }^2$应该越小越好，所以它的拒绝域应该是${\chi }^2$大于等于某个数的形式。因此，拒绝域为${\chi }^2\ge {\chi }_{\alpha }^2(r-1)$。

(2) 理论分布含有未知参数的情形

设理论分布为$F(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_l)$，其中${\theta }_1,{\theta }_2,\cdots ,{\theta }_l$是未知参数。我们要先干两件事情，然后继续进行理论分布已知时的过程：

1. 根据样本$X_1,X_2,\cdots ,X_n$求出${\theta }_1,{\theta }_2,\cdots ,{\theta }_l$的最大似然估计值${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_l$，然后把$F(x;{\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_l)$当作完全已知的分布函数处理；
2. 千万别忘了把${\chi }^2$的自由度改为$r-l-1$！！！这是对皮尔逊定理的修正。拒绝域为${\chi }^2\ge {\chi }_{\alpha }^2(r-l-1)$。可以理解为，我们需要从$n$个样本中抽出$l$个来弥补参数的未知，这造成了自由度的损失，所以最后自由度变成了$r-l-1$。