统计学理论—参数估计

在学习统计学贾书的过程，在第6—14章节出有许多需要理解与记忆的公式和概念，在此通过博客的形式做一次梳理，主要内容为统计学中抽样分布、假设检验、参数估计、分类数据分析、方差分析、一元二元线性分析、时间序列分析、指数的理论知识，不足之处望多多指正。

参数估计的一般问题

• 点估计与区间估计
  (1)点估计定义：用样本的估计量的某个取值直接作为总体参数的估计值（如用样本均值直接作为总体均值的估计；用两个样本均值之差直接作为总体均值之差的估计）
  评价：无法给出估计值接近总体参数程度的信息
  (2) 区间估计定义：在点估计的基础上，给出总体参数估计的一个区间范围，该区间由样本统计量加减估计误差而得到
  评价：根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量
  (3)置信水平的定义:将构造置信区间的步骤重复很多次，置信区间包含总体参数真值的次数所占的比例称为置信水平

• 正态分布下的区间估计图示：

• 估计量的评价
  （1）无偏性：估计量抽样分布的数学期望等于被估计的总体参数
  （2）有效性：对同一总体参数的两个无偏点估计量，有更小标准差的估计量更有效
  （3）一致性：随着样本量的增大，估计量的值越来越接近被估计的总体参数

点估计的常用理论

矩估计

• 作用：用相应的观察值（$\bar{X}$作为统计量的估计值）
• 解题套路
  （1）一个参数：首先用一阶矩建立方程令： （$\bar{X}=EX$） 若一阶不可用则建立二阶矩方程：（$\frac{1}{n}{\sum }_{i=1}^n{X}_i^2=E\left(X^2\right)$）（优先低阶求解）
  （2）两个参数：用一阶矩与二阶矩建立两个方程求解（两个未知数）。

最大似然估计

• 作用：选定概率最大的参数值作为估计量。
• 解题套路：
  （1）写出似然函数：$L\left(x_1,x_2,\cdots ,x_n;\theta \right)=\{\begin{array}{l}{\prod }_{i=1}^{\infty }p\left(x_i;\theta \right)（离散）\\ {\prod }_{i=1}^{n}f\left(x_i;\theta \right)（连续）\end{array}$；
  （2）令$\frac{\mathrm{dln}L}{\mathrm{d}\theta }=0,\frac{\mathrm{d}L}{\mathrm{d}\theta }=0$求解驻点，（无驻点用定义法，为常数$\hat{\theta }$不唯一）；
  （3）给出相应最大似然估计值如$u(\hat{\theta })$。

数字特征

（1）求$E(\hat{\theta })$
（2）求$D(\hat{\theta })$
（3）检验$\hat{\theta }$是否依概率收敛$\theta$，即对任意的$\epsilon >0有：$ lim ⁡ n → ∞ P { ∣ θ ^ − θ ∣ ⩾ ε } = 0 \lim _{n \rightarrow \infty} P\{|\hat{\theta}-\theta| \geqslant \varepsilon\}=0 limn→∞​P{ ∣θ^−θ∣⩾ε}=0 或 lim ⁡ n → ∞ P { ∣ θ ^ − θ ∣ < ε } = 1 \lim _{n \rightarrow \infty} P\{|\hat{\theta}-\theta|<\varepsilon\}=1 limn→∞​P{ ∣θ^−θ∣<ε}=1

一个总体参数的区间估计

• 大小样本的判定数量依据：30（总结）
  

均值的区间估计

• Z分布（大样本、小样本且${\sigma }^2$已知）
  假定条件为：总体服从正态分布,且方差(${\sigma }^2$) 已知;如果不是正态分布;可由正态分布来近似 (n >=30)
  $z=\frac{\bar{x}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$
  $\bar{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}(\sigma$ 已知）$ 或 $\bar{x}\pm z_{\alpha /2}\frac{s}{\sqrt{n}}(\sigma$ 未知）

• t分布（小样本且${\sigma }^2$未知）
  假定条件：总体服从正态分布,但方差(${\sigma }^2$)) 未知；小样本 (n < 30)
  $t=\frac{\bar{x}-\mu }{s/\sqrt{n}}\sim t(n-1)$
  $\bar{x}\pm t_{\alpha /2}\frac{s}{\sqrt{n}}$

样本比例的区间估计

• 样本比例（看样本数量，一般是大样本的z分布）
  $z=\frac{p-\pi }{\sqrt{\frac{\pi (1-\pi )}{n}}}\sim N(0,1)$
  $p\pm z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}}$

方差的区间估计

• ${\chi }^2$分布
  $\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
  $\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2(n-1)}\le {\sigma }^2\le \frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2(n-1)}$

样本数量的确定

• Z分布的反推
  $n=\frac{{\left(z_{\alpha /2}\right)}^2{\sigma }^2}{E^2}$ 其中 $E=z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$（E为题目给的期望方差）
  $z=\frac{\left({\bar{x}}_1-{\bar{x}}_2\right)-\left({\mu }_1-{\mu }_2\right)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$

两个总体参数的区间估计

均值差的区间估计

• Z分布（大样本或者小样本且${\sigma }_1^2,{\sigma }_2^2$已知）
  $\left({\bar{x}}_1-{\bar{x}}_2\right)\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}$
  $\left({\bar{x}}_1-{\bar{x}}_2\right)\pm z_{\alpha /2}\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}$

• t分布（匹配样本且${\sigma }_1^2,{\sigma }_2^2$已知）
  $t=\frac{\left({\bar{x}}_1-{\bar{x}}_2\right)-\left({\mu }_1-{\mu }_2\right)}{s_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t\left(n_1+n_2-2\right)\mid$
  $\left(\overline{x_1}-\overline{x_2}\right)\pm t_{a/2}\left(n_1+n_2-2\right)\sqrt{s_p^2\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}$

比例差的区间估计

• Z分布（独立大样本）
  $\left(p_1-p_2\right)\pm z_{\alpha /2}\sqrt{\frac{p_1\left(1-p_1\right)}{n_1}+\frac{p_2\left(1-p_2\right)}{n_2}}$

方差比的区间估计

• F分布
  $\frac{s_1^2/s_2^2}{F_{\alpha /2}}\le \frac{{\sigma }_1^2}{{\sigma }_2^2}\le \frac{s_1^2/s_2^2}{F_{1-\alpha /2}}$
  $F_{1-\alpha /2}\left(n_1,n_2\right)=\frac{1}{F_{\alpha /2}\left(n_2,n_1\right)}$

参考

《统计学》 第7版_贾俊平