单样本和两样本的统计推断：置信区间和假设检验

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/moxigandashu/article/details/51648872

《商务与经济统计学》读书笔记 6

---

1 相关概念

• 置信区间（confidence interval）：用一个区间范围来估计总体参数，和点估计对比。

  点估计：用一个数值来估计总体参数。

• 置信系数（confidence coefficient）：置信区间包含总体参数的概率。

• 置信水平（confidence level）：置信系数的百分比表示形式。
• 常见目标参数

参数	概念	数据类型
$\mu$	均值；平均数	定量
$p$	比例；百分比	定性
$\sigma^2$	方差；变异；散步	定量

2 置信区间—单样本的统计推断

2.1 大样本置信区间：正太（$z$）统计量

对于正太分布（$z$分布）的统计量，$\mu$在大样本下（$1-\alpha$）的置信区间
$\alpha$已知：

$$\bar{x}\pm z_{\alpha/2} \sigma_x=\bar{x}\pm z_{\alpha/2} \frac{\sigma}{\sqrt n}$$
$\alpha$未知： $$\bar{x}\pm z_{\alpha/2} \sigma_x=\bar{x}\pm z_{\alpha/2} \frac{s}{\sqrt n}$$

大样本置信区间的条件：
1.目标总体中选择一个随机样本
2.样本容量很大（$n\geq30$）。中心极限定理，保证了$\bar x$的抽样分布近似正态分布。

2.2 小样本置信区间：学生（$t$）统计量

（$t$分布）的统计量，$\mu$在小样本下（$1-\alpha$）的置信区间
$\alpha$已知：

$$\bar{x}\pm t_{\alpha/2} \sigma_\bar x=\bar{x}\pm t_{\alpha/2} \frac{\sigma}{\sqrt n}$$
$\alpha$未知： $$\bar{x}\pm t_{\alpha/2} \sigma_x=\bar{x}\pm t_{\alpha/2} \frac{s}{\sqrt n}$$
其中 $t_{\alpha/2}$是基于 $n-1$个自由度 $t$分布中右尾面积 $\alpha/2$对应的 $t$值。

小样本置信区间的条件：
1.目标总体中选择一个随机样本
2.总体相对频数分布近似于标准正态分布。

2.3 大样本置信区间：总体比例（$p$）统计量

对于重复抽样分布（$\hat{p}$分布）的统计量，$p$的大样本下（$1-\alpha$）的置信区间

$$\hat{p}\pm z_{\alpha/2} \sigma_\hat p=\hat{p}\pm z_{\alpha/2} \sqrt{\frac{pq}{n}}$$
说明：
1. $\hat p$的抽样分布均值是 $p$， $\hat p 是p的无偏估计值$。
2. $\hat p$的抽样分布标准差是 $\sqrt{pq/n}$，其中 $q=1-p$。
3.对于大样本， $\hat p$的抽样分布是近似正太的，如果 $n\hat p\geq15$和 $n\hat q\geq15$同时成立，样本被视为大样本。

大样本置信区间的条件：
1.目标总体中选择一个随机样本
2.样本容量很大（如果$n\hat p\geq15$和$n\hat q\geq15$同时成立）。

$p$值调整：
当$p$值接近1或者0时，大样本的条件很难满足，可以对总体比例进行调整。

总体比例$p$调整后的置信区间。

$$\breve{p}\pm z_{\alpha/2} \sigma_\breve p=\breve{p}\pm z_{\alpha/2} \sqrt{\frac{\breve p(1-\breve p)}{n+4}}$$
其中， $\breve p=\frac{x+2}{n+4}$。

2.4 样本量的确定

• 总体均值
  根据$\mu$的$1-\alpha$置信区间确定样本量
  $$z_{\alpha/2}(\frac{\sigma}{\sqrt n})=ME$$
  则可以得到
  $$n=\frac{(z_{\alpha/2})^2\sigma^2}{ME^2}$$
  

• 总体比例
  根据$p$的$1-\alpha$置信区间确定样本量
  $$z_{\alpha/2}(\sqrt\frac{pq}{ n})=ME$$
  则可以得到
  $$n=\frac{(z_{\alpha/2})^2pq}{ME^2}$$

2.5 总体方差$(\sigma^2)$统计量:$\chi^2$分布

$\sigma^2的1-\alpha$的置信区间

$$\frac{(n-1)s^2}{\chi_{\alpha/2}^2}\leq\sigma^2\leq\frac{(n-1)s^2}{\chi_{(1-\alpha/2)}^2}$$
$\chi_{\alpha/2}^2和\chi_{（1-\alpha/2）}^2$代表自由度为 $n-1$的卡方分布右尾和左尾面积为 $\alpha/2$所对应的值。

$\sigma^2$有效置信区间的条件：
1.从目标总体中选择一个随机样本。
2.总体的频率分布近似正太。

3 假设检验—单样本统计推断

3.1检验统计量、拒绝域及$P$值

• 检验统计量和拒绝域
  原假设($H_0$)：$\mu=\mu_0$
  备择假设($H_a$)：$\mu\neq\mu_0$
  检验统计量:$z=\frac{\bar x -\mu}{\sigma_\bar x}=\frac{\bar x -\mu}{\sigma/\sqrt n}$
  

  当$z$落在拒绝域时，我们认为这是一个小概率事件($p=\alpha$)，发生的可能性非常低，因此原假设不正确，因而拒绝原假设。
  当$z$落在接受区域，则没有充分的理由来拒绝原假设。（但是也没有充分理由接受原假设）

  此时涉及两类错误：
  第I类错误：$H_0$为真的情况下拒绝原假设而接受备择假设，犯第I类错误的概率为$\alpha$。
  第II类错误：$H_0$为假的情况下接受原假设，犯第II类错误的概率为$\beta$。

  结论	$H_0$为真	$H_a$为真
  接受$H_0$	正确决定	第II类错误（概率为$\beta$）
  拒绝$H_0$	第I类错误（概率为$\alpha$）	正确决定

• $p$值：显著性水平
  1.计算$z$值，$z_p=\frac{\bar x -\mu}{\sigma_\bar x}$
  2.如果是单侧检验，那么p值就是靠近备择假设区域的面积。
  如备择假设是$>$，那么$p=P(z>z_p)$如备择假设是$<$，那么$p=P(z<z_p)$;
  3.如果是双侧检验，那么那么p值就是靠近备择假设区域的面积的两倍。
  $p=P(z>|z_p|)$

  $p$值作为检验结果的优势：
  1.$p$小于显著水平$\alpha$，那么拒绝原假设。
  2.可以通过$p$来确定能容忍的最大$\alpha$值。

3.2 假设检验：正太（$z$）;学生（$t$）;比例（$p$）；总体方差

• 双侧检验：

统计量	大样本总体均值	小样本总体均值	总体比例（$p$）	总体方差
分布	正太（$z$）	学生（$t$）	（$p$）	$\sigma^2$
$H_0$	$\mu=\mu_0$	$\mu=\mu_0$	$p=p_0$	$\sigma^2=\sigma_0^2$
$H_a$	$\mu\neq\mu_0$	$\mu\neq\mu_0$	$p\neq p_0$	$\sigma^2\neq\sigma_0^2$
检验统计量	$z=\frac{\bar x -\mu_0}{\sigma/\sqrt n}$	$t=\frac{\bar x -\mu_0}{s/\sqrt n}$	$z=\frac{\hat p -p_0}{\sigma_\hat p}=\frac{\hat p -p_0}{\sqrt{p_0q_0/n}}$	$\chi^2=\frac{(n-1)s^2}{\sigma_0^2}$
拒绝域	$|z|>z_{\alpha/2}$	$|t|>t_{\alpha/2}$	$|z|>z_{\alpha/2}$	$\chi^2<\chi^2_{(1-\alpha/2)}$

4 置信区间和假设检验—两样本的统计推断

• 目标参数：

参数	概念	数据类型
$\mu_1-\mu_2$	均值差；平均上的差异	定量
$p_1-p_2$	比例差；百分比差；比率差	定性
$\sigma_1^2/\sigma_2^2$	方差比值；变异差异	定量

4.1 大样本总体均值

• $\bar{x_1}-\bar{x_2}$抽样分布性质
  1.$\bar{x_1}-\bar{x_2}$的抽样分布均值是$\bar{\mu_1}-\bar{\mu_2}$。
  2.如果两个样本相互独立，抽样分布的标准差：
  $$\sigma(\bar x_1- \bar x_2)=\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}$$
  3.根据中心极限定理，$\bar{x_1}-\bar{x_2}$的抽样分布在大样本下近似服从正太分布。

独立大样本情况下$\mu_1-\mu_2$的置信区间：正太$z$
$(\bar{x_1}-\bar{x_2})\pm z_{a/2}(\sigma_{(\bar{x_1}-\bar{x_2})}=(\bar{x_1}-\bar{x_2})\pm z_{a/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}\approx (\bar{x_1}-\bar{x_2})\pm z_{a/2}\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}$
独立大样本情况下$\mu_1-\mu_2$的假设检验：正太$z$

	单侧检验	双侧检验
$H_0$	$\mu_1-\mu_2=D_0$	$\mu_1-\mu_2=D_0$
$H_a$	$\mu_1-\mu_2<D_0$（或$\mu_1-\mu_2>D_0$）	$\mu_1-\mu_2\neq D_0$
检验统计量$z$	$z=\frac{(\bar{x_1}-\bar{x_2})-D_0}{\sigma(\bar x_1- \bar x_2)}=\frac{(\bar{x_1}-\bar{x_2})-D_0}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\approx\frac{(\bar{x_1}-\bar{x_2})-D_0}{\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}}$
拒绝域	$z<-z_\alpha$或$z>z_\alpha$	$|z|>z_{\alpha/2}$
有效大样本统计推断条件	1.两个样本独立的方式从总体中随机抽取 2样本量$n_1和n_2$都很大。

4.2 小样本总体均值

• 混合样本估计量$s_p^2$
  1.$\sigma^2$混合样本估计量表示为$s_p^2$
  $$s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{(n_1-1)+(n_2-1)}=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{(n_1+n_2-2)}$$

独立小样本情况下$\mu_1-\mu_2$的置信区间：学生$t$
$(\bar{x_1}-\bar{x_2})\pm t_{a/2}\sqrt{s_p^2(\frac{1}{n_1}+\frac{1}{n_2})}=(\bar{x_1}-\bar{x_2})\pm t_{a/2}\sqrt{\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{(n_1+n_2-2)}(\frac{1}{n_1}+\frac{1}{n_2})}$
独立小样本情况下$\mu_1-\mu_2$的假设检验：正太$t$

	单侧检验	双侧检验
$H_0$	$\mu_1-\mu_2=D_0$	$\mu_1-\mu_2=D_0$
$H_a$	$\mu_1-\mu_2<D_0$（或$\mu_1-\mu_2>D_0$）	$\mu_1-\mu_2\neq D_0$
检验统计量$t$	$t=\frac{(\bar{x_1}-\bar{x_2})-D_0}{\sqrt{s_p^2(\frac{1}{n_1}+\frac{1}{n_2})}}$
拒绝域	$t<-t_\alpha$或$t>t_\alpha$	$|t|>t_{\alpha/2}$
有效大样本统计推断条件	1.两个样本独立的方式从两个目标总体中随机抽取 2两个被抽样的总体近似服从正态分布 3两个总体具有相同的方差（$\sigma_1^2=\sigma_2^2$）

• 若$\sigma_1^2\neq\sigma_2^2$的情况
  

  1. 样本量相同（$n_1=n_2=n$）
  置信区间: $(\bar{x_1}-\bar{x_2})\pm t_{a/2}\sqrt{(s_1^2+s_2^2)/n}$
  $H_0:\mu_1-\mu_2=0$下的检验统计量： $t=(\bar{x_1}-\bar{x_2})\sqrt{(s_1^2+s_2^2)/n}$
  $t$是基于自由度 $v=n_1+n_2-2=2(n-1)$。
  2. 样本量不相同（$n_1\neq n_2$）
  置信区间: $(\bar{x_1}-\bar{x_2})\pm t_{a/2}\sqrt{(s_1^2/n_1+s_2^2/n_2)}$
  $H_0:\mu_1-\mu_2=0$下的检验统计量： $t=(\bar{x_1}-\bar{x_2})\sqrt{(s_1^2/n_1+s_2^2/n_2)}$
  $t$是基于自由度 $v=\frac{(s_1^2/n_1+s_2^2/n_2)^2}{\frac{(s_1^2/n_1)^2}{n_1-1}+\frac{(s_2^2/n_2)^2}{n_2-1}}$。

4.3 配对差异试验

对于某些情况，由于某些原因不再符合独立样本，比如考察毕业生男生和女生工资薪酬均值差，如果是独立样本，结果可能因为专业和平均成绩差异而变化比较大，因此可以根据专业和平均成绩进行匹配。

• 配对差异试验的置信区间：

  配对差异试验$\mu_d=(\mu_1-\mu_2)$的置信区间。

  • 大样本
    $\bar d\pm z_{\alpha/2}\frac{\sigma_d}{\sqrt{n_d}}\approx \bar d \pm z_{\alpha/2}\frac{\sigma_d}{\sqrt{n_d}}$
  • 小样本
    $\bar d \pm t_{\alpha/2}\frac{\sigma_d}{\sqrt{n_d}}$
    其中，$t_{\alpha/2}$是基于自由度为$n_d-1$的。

• 配对差异试验的假设检验：

  	单侧检验	双侧检验
  $H_0$	$\mu_d=D_0$	$\mu_d=D_0$
  $H_a$	$\mu_d<D_0$（或$\mu_d>D_0$）	$\mu_d\neq D_0$
  大样本
  检验统计量$z$	$z=\frac{\bar{d}-D_0}{\sigma_d/\sqrt{n_d}}\approx\frac{\bar{d}-D_0}{s_d/\sqrt{n_d}}$
  拒绝域	$z<-z_\alpha$或$z>z_\alpha$	$|z|>z_{\alpha/2}$
  有效大样本统计推断条件	1随机样本差值是从两个目标总体中随机抽取 2样本量$n_d$很大（$\sigma_1^2=\sigma_2^2$）
  小样本
  检验统计量$t$	$t=\frac{\bar{d}-D_0}{s_d/\sqrt{n_d}}$
  拒绝域	$t<-t_\alpha$或$t>t_\alpha$	$|t|>t_{\alpha/2}$
  有效小样本统计推断条件	1.随机样本差值是从两个目标总体中随机抽取 2总体差异近似服从正态分布

4.3 总体比例

• $\hat{p_1}-\hat{p_2}$抽样分布性质
  1.$\hat{p_1}-\hat{p_2}$的抽样分布均值是${p_1}-{p_2}$。即：
  $$E(\hat{p_1}-\hat{p_2})=p_1-p_2$$
  2.如果两个样本相互独立，抽样分布的标准差：
  $$\sigma(\hat{p_1}-\hat{p_2})=\sqrt{\frac{p_1q_1}{n_1}+\frac{p_2q_2}{n_2}}$$
  3.根据中心极限定理，$\hat{p_1}-\hat{p_2}$的抽样分布在大样本下近似服从正太分布。

• 独立大样本情况下${p_1}-{p_2}$的置信区间：
  $(\hat{p_1}-\hat{p_2})\pm z_{a/2}\sigma_{(\hat{p_1}-\hat{p_2})}=(\bar{p_1}-\bar{p_2})\pm z_{a/2}\sqrt{\frac{p_1q_1}{n_1}+\frac{p_2q_2}{n_2}}\approx (\hat{p_1}-\hat{p_2})\pm z_{a/2}\sqrt{\frac{\hat{p_1}\hat{q_1}}{n_1}+\frac{\hat{p_2}\hat{q_2}}{n_2}}$
  独立大样本情况下$p_1-p_2$的假设检验：正太$z$
  
  

  	单侧检验	双侧检验
  $H_0$	$p_1-p_2=0$	$p_1-p_2=0$
  $H_a$	$p_1-p_2<0$（或$p_1-p_2>0$）	$p_1-p_2\neq 0$
  检验统计量$z$	$z=\frac{(\hat{p_1}-\hat{p_2})}{\sigma(\hat x_1- \hat x_2)}=\frac{(\hat{p_1}-\hat{p_2})}{\sqrt{\frac{p_1q_1}{n_1}+\frac{p_2q_2}{n_2}}}\approx\frac{(\hat{p_1}-\hat{p_2})}{\sqrt{\frac{\hat{p_1}\hat{q_1}}{n_1}+\frac{\hat{p_2}\hat{q_2}}{n_2}}}$
  拒绝域	$z<-z_\alpha$或$z>z_\alpha$	$|z|>z_{\alpha/2}$
  有效大样本统计推断条件	1.两个样本独立的方式从总体中随机抽取 2样本量$n_1和n_2$都很大（$n_1\hat p_1\geq15,n_2\hat p_2\geq15$）。

4.4 样本量确定

• 总体均值
  根据$\mu_1-\mu_2$的$1-\alpha$置信水平和误差限$ME$确定样本量
  $$z_{\alpha/2}\sqrt {\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}=ME$$
  此时$n=n_1=n_2$则可以得到
  $$n=\frac{(z_{\alpha/2})^2(\sigma_1^2+\sigma21^2)}{ME^2}$$
  

• 总体比例
  根据$p$的$1-\alpha$置信区间确定样本量
  $$z_{\alpha/2}\sqrt {\frac{p_1q_1}{n_1}+\frac{p_2q_2}{n_2}}=ME$$
  此时$n=n_1=n_2$则可以得到
  $$n=\frac{(z_{\alpha/2})^2(p_1q_1+p_2q_2)}{ME^2}$$

4.5 总体方差：两样本

独立大样本情况下相等方差的$F$假设检验：$F$

	单侧检验	双侧检验
$H_0$	$\sigma_1^2=\sigma_2^2$	$\sigma_1^2=\sigma_2^2$
$H_a$	$\sigma_1^2<\sigma_2^2或（\sigma_1^2>\sigma_2^2）$	$\sigma_1^2\neq\sigma_2^2$
检验统计量$F$	$F=\frac{s_2^2}{s_1^2}（或F=\frac{s_1^2}{s_2^2}）$	$F=\frac{较大的样本方差}{较小的样本方差}$
拒绝域	$F>F_\alpha$	$F>F_{\alpha/2}$
有效大样本统计推断条件	1.被抽样的总体服从正态分布 样本随机且独立。