【数理统计】学习笔记04：点估计的优良性及其评选标准

前文回顾：参数的点估计（矩估计和极大似然估计）

承接前文内容

四、点估计优良性的评选标准

4.1 无偏性

• 定义：若 $\theta$ 的估计量 $\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$，满足 $E(\hat{\theta })=\theta$，则称 $\hat{\theta }$ 是 $\theta$ 的一个无偏估计量。
• 统计意义：若 $\hat{\theta }$ 是 $\theta$ 的无偏估计量，则在大量重复试验下，$\hat{\theta }$ 给出的估计值没有系统误差。
  • 例如：A工厂产品合格率为 $\theta =p$，和商家B之间有长期供货合同，每次产品合格率 $\hat{\theta }=n_A/n$ 高于或低于 $\theta =p$。则无偏性能保证长期合作中合格率接近于 $\theta$。

例1：设总体 $X$ 的一阶矩，二阶矩存在，$EX=\mu$，$DX={\sigma }^2$。
（1）证明样本均数 $\bar{X}$ 是 $\mu$ 的无偏估计量。
（2）$S^2$ 是 ${\sigma }^2$ 的无偏估计量，$B_2$ 是 ${\sigma }^2$ 的有偏估计量。

---

证明：
（1） 因为 $X_1,\cdots ,X_n$ 独立同分布，$E{X}_i=\mu$
$$E({\bar{X}}_n)=E(\frac{1}{n}\sum _{i=1}^n{X}_i)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=EX=\mu$$ ${\bar{X}}_n$ 是 $\mu$ 的无偏估计量。

---

（2）$$\begin{array}{rl}{B}_2& =\frac{1}{n}\sum _{i=1}^n(X_i-{\bar{X}}_n{)}^2=\frac{1}{n}\sum _{i=1}^n(X_i^2-2{\bar{X}}_n{X}_i+{\bar{X}}_n^2)\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}_n\frac{2}{n}\sum _{i=1}^n{X}_i+{\bar{X}}_n^2\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}_n^2\\ (& =A_2-A_1^2)\end{array}$$ E ( B 2 ) = E { 1 n ∑ i = 1 n ( X i − X ˉ n ) 2 } = E { 1 n ∑ i = 1 n X i 2 − X ˉ n 2 } = 1 n ∑ i = 1 n E ( X i 2 ) − E ( X ˉ n 2 ) = E ( X 2 ) − E ( X ˉ n 2 ) = { D X + ( E X ) 2 } − { D X ˉ n + ( E X ˉ n ) 2 } = σ 2 + μ 2 − ( σ 2 n + μ 2 ) = ( n − 1 ) σ 2 n \begin{aligned} E(B_2)&=E\Bigg\{\frac 1n \sum_{i=1}^n(X_i-\bar X_n)^2 \Bigg\} =E\Bigg\{ \frac 1n\sum_{i=1}^nX_i^2-\bar X_n^2 \Bigg\} \\ &=\frac 1n \sum_{i=1}^nE(X_i^2)-E(\bar X_n^2) \\ &=E(X^2)-E(\bar X_n^2) \\ &=\{ DX+(EX)^2 \}-\{ D\bar X_n+(E\bar X_n)^2 \} \\ &=\sigma^2+\mu^2-(\frac {\sigma^2}{n}+\mu^2) \\ &=\frac {(n-1)\sigma^2}n \end{aligned} E(B2​)​=E{ n1​i=1∑n​(Xi​−Xˉn​)2}=E{ n1​i=1∑n​Xi2​−Xˉn2​}=n1​i=1∑n​E(Xi2​)−E(Xˉn2​)=E(X2)−E(Xˉn2​)={ DX+(EX)2}−{ DXˉn​+(EXˉn​)2}=σ2+μ2−(nσ2​+μ2)=n(n−1)σ2​​ $B_2$ 是 ${\sigma }^2$ 的有偏估计量，$E{B}_2=\frac{(n-1){\sigma }^2}{n}$
修正 $B_2$，$E(\frac{n}{n-1}{B}_2)={\sigma }^2$，令 $S^2=\frac{n}{n-1}{B}_2$，即 $$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-{\bar{X}}_n{)}^2$$ $$E(S^2)=E(\frac{n}{n-1}{B}_2)={\sigma }^2$$ $S^2$ 是 ${\sigma }^2$ 的无偏估计量。

4.2 有效性

4.2.1 比较有效性

• 比较有效性：设 ${\hat{\theta }}_1(X_1,X_2,\cdots ,X_n)$，${\hat{\theta }}_2(X_1,X_2,\cdots ,X_n)$ 是 $\theta$ 的两个无偏估计量。如果 $D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$ 对一切 $\theta \in \Theta$ 都成立，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 更有效。
• 在期望相等的条件下，方差小者估计的效果更好。

例3：设总体 $X\sim U(0,\theta )$
（1）求 $\theta$ 矩估计量和极大似然估计量；
（2）验证矩估计量和极大似然估计量的无偏性；
（3）比较有效性。

---

解：（1）
$EX=\theta /2$，令 $\bar{X}=EX=\theta /2$
解得 ${\hat{\theta }}_{矩}=2\bar{X}$
$$L(\theta )=\prod _{i=1}^n\frac{1}{\theta }=\frac{1}{{\theta }^n},(\frac{1}{{\theta }^n}{)}^{\prime }\ne 0$$若使 $L(\theta )$ 极大，需 $\theta \to 0$，但 $0<x<\theta$，
因此，${\hat{\theta }}_{极大}=X_{(n)}$

---

（2）无偏性$$E({\hat{\theta }}_{\text{矩}})=E(2\bar{X})=2E\bar{X}=2(\frac{\theta }{2})=\theta$$ ${\hat{\theta }}_{\text{矩}}$ 是 $\theta$ 的无偏估计量。
令 $Z={\hat{\theta }}_{\text{极大}}=X_{(n)}$ $$EZ={\int }_{-\infty }^{+\infty }z{f}_z(z)dz$$ f n ( z ) = n ! ( n − 1 ) ! 1 ! { F X ( z ) } n − 1 f X ( z ) = n ( z θ ) n − 1 1 θ = n z n − 1 θ n \begin{aligned} f_n(z)&=\frac{n!}{(n-1)! 1!}\{F_X(z)\}^{n-1}f_X(z) \\ &=n(\frac z{\theta})^{n-1}\frac 1{\theta}=\frac{nz^{n-1}}{\theta^n} \end{aligned} fn​(z)​=(n−1)!1!n!​{ FX​(z)}n−1fX​(z)=n(θz​)n−1θ1​=θnnzn−1​​ $$f_Z(z)=\{\begin{array}{l}\frac{n{z}^{n-1}}{{\theta }^n},0<z<\theta \\ 0,\text{其它}\end{array}$$ $$E{\hat{\theta }}_{极大}=EZ={\int }_0^{\theta }z\frac{n{z}^{n-1}}{{\theta }^n}dz=\frac{n}{n+1}\theta$$修正 $T=\frac{n+1}{n}{\hat{\theta }}_{极大}$，则 $ET=\theta$
因此，矩估计量是无偏估计，极大似然估计是有偏估计，修正后 $T$ 为无偏估计。

---

（3）比较有效性
$$D({\hat{\theta }}_{\text{矩}})=D(2\bar{X})=4D\bar{X}=4\frac{DX}{n}=\frac{4}{n}\frac{{\theta }^2}{12}=\frac{{\theta }^2}{3n}$$ $$E(Z^2)={\int }_0^{\theta }{z}^{2}n\frac{z^{n-1}}{{\theta }^n}dz=\frac{n}{n+2}{\theta }^2$$ $$\begin{array}{rl}D{\hat{\theta }}_{\text{极大}}& =DZ=E{Z}^2-(EZ{)}^2\\ & =\frac{n}{n+2}{\theta }^2-(\frac{n}{n+2}\theta {)}^2=\frac{n{\theta }^2}{(n+2)(n+1{)}^2}\end{array}$$ $$\begin{array}{rl}DT& =D(\frac{n+1}{n}{\hat{\theta }}_{\text{极大}})=\frac{(n+1{)}^2}{n^2}D({\hat{\theta }}_{\text{极大}})\\ & =\frac{(n+1{)}^2}{n^2}\frac{n{\theta }^2}{(n+2)(n+1{)}^2}=\frac{{\theta }^2}{n(n+2)}\end{array}$$

4.2.2 有效估计

无偏估计的方差越小越有效，那么方差是否存在一个大于0的下界呢？

• 费希尔信息量：$$I(\theta )=E[\frac{\partial }{\partial \theta }\ln p(X;\theta ){]}^2=-E[\frac{{\partial }^2\ln p(X;\theta )}{\partial {\theta }^2}]$$
• C-R不等式：设总体 $X$，满足费希尔信息量的条件，$X_1,X_2,\cdots ,X_n$ 是来自该总体的样本，$T=T(X_1,X_2,\cdots ,X_n)$ 是 $g(\theta )$ 的一个任意一个无偏估计，$g^{\prime }(\theta )=\frac{\partial g(\theta )}{\partial \theta }$ 存在，则有：$$Var(T)\ge \frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}$$当等号成立时，称 $T=T(X_1,X_2,\cdots ,X_n)$ 是 $g(\theta )$ 的有效估计。特别的，对 $\theta$ 的任意一个无偏估计 $\hat{\theta }$，有：$$Var(\hat{\theta })\ge \frac{1}{nI(\theta )}$$
• 无偏估计的有效估计：若 $\theta$ 的一个无偏估计 $\hat{\theta }$ 达到方差下界，即使 C-R 不等式中等式 $$Var(\hat{\theta })=\frac{1}{nI(\theta )}$$成立，则称 $\hat{\theta }$ 为 $\theta$ 的有效估计。
• 有效率：若 $\hat{\theta }$ 为 $\theta$ 的一个无偏估计，且 C-R 不等式下界存在，则有效率为：$$e=\frac{\frac{1}{nI(\theta )}}{Var(\hat{\theta })}$$

例5：设总体 $X$ 服从两点分布，分布列为 $p(x,\theta )={\theta }^x(1-\theta {)}^x(x=0,1)$
试证明 $\bar{X}$ 是 $\theta$ 的有效估计量。

---

证明：
$E(\hat{\theta })=E(\bar{X})=\theta$，故 $\hat{\theta }$ 为 $\theta$ 的无偏估计量
$$D(\hat{\theta })=D(\bar{X})=\frac{\theta (1-\theta )}{n}$$ $$\ln p(x,\theta )=x\ln \theta +(1-x)\ln (1-\theta )$$ $$\frac{\partial \ln p(x,\theta )}{\partial \theta }=\frac{x}{\theta }-\frac{1-x}{1-\theta };\frac{{\partial }^2\ln p(x,\theta )}{\partial {\theta }^2}=-\frac{x}{{\theta }^2}-\frac{1-x}{(1-\theta {)}^2}$$ $$E\left\{\frac{{\partial }^2\ln p(x,\theta )}{\partial {\theta }^2}\right\}=E\{-\frac{x}{{\theta }^2}-\frac{1-x}{(1-\theta {)}^2}\}=-\frac{1}{\theta }-\frac{1}{1-\theta }=\frac{-1}{(1-\theta )\theta }$$ $$I(\theta )=\frac{1}{\theta (1-\theta )}$$C-R 下界为：$\frac{\theta (1-\theta )}{n}=D(X)$
故 $\bar{X}$ 是 $\theta$ 的有效估计量。

例6：设总体 $X\sim B(m,p)$，分布列为 $p(x,m,p)=C_m^x{p}^x(1-p{)}^{m-x}(x=0,1,\cdots ,m)$
求 $p$ 的矩估计量，并验证其是 $p$ 的有效估计量。

---

解：$EX=mp$，令 $\bar{X}=E(X)$，得 ${\hat{p}}_{\text{矩}}=\bar{X}/m$
$$E({\hat{p}}_{\text{矩}})=E(\frac{\bar{X}}{m})=\frac{mp}{m}=p$$故 ${\hat{p}}_{\text{矩}}$ 是 $p$ 的无偏估计量
$$D({\hat{p}}_{\text{矩}})=D(\frac{\bar{X}}{m})=\frac{p(1-p)}{nm}$$ $$\ln p(x,m,p)=\ln C_m^x+x\ln p+(m-x)\ln (1-p)$$ $$\frac{\partial \ln p(x,m,p)}{\partial p}=\frac{x}{p}-\frac{m-x}{(1-p{)}^2};\frac{{\partial }^2\ln p(x,m,p)}{\partial p^2}=-\frac{x}{p^2}-\frac{m-x}{(1-p{)}^2}$$ $$E\left\{\frac{{\partial }^2\ln p(x,m,p)}{\partial p^2}\right\}=E\{-\frac{x}{p^2}-\frac{m-x}{(1-p{)}^2}\}=-\frac{m}{(1-p)p}$$ $$I(p)=\frac{m}{p(1-p)}$$C-R下界为：$\frac{p(1-p)}{mn}=D({\hat{p}}_{\text{矩}})$，故 ${\hat{p}}_{\text{矩}}$ 是 $p$ 的有效估计量

例11：设总体为 $f(x)=\frac{1}{2{\theta }^3}{x}^2{e}^{-x/\theta }(x>0)$，$X_1,\cdots ,X_n$ 为样本，$\mu$ 已知。求 $\theta$ 参数的极大似然估计量，并判定是否是 $\theta$ 的有效估计量。

---

解：$$L(\theta )=\prod _{i=1}^n\frac{1}{2{\theta }^3}{x}_i^2{e}^{-\frac{x_i}{\theta }}=\frac{1}{2^n{\theta }^{3n}}{e}^{-\frac{1}{\theta }{\sum }_{i=1}^n{x}_i}\prod _{i=1}^n{x}_i^2$$ ln ⁡ { L ( θ ) } = ln ⁡ { 1 2 n ∏ i = 1 n x i 2 } − 3 n ln ⁡ θ − 1 θ ∑ i = 1 n x i \ln\{L(\theta)\}=\ln\bigg\{\frac 1{2^n}\prod_{i=1}^nx_i^2\bigg\}-3n\ln\theta-\frac 1{\theta}\sum_{i=1}^nx_i ln{ L(θ)}=ln{ 2n1​i=1∏n​xi2​}−3nlnθ−θ1​i=1∑n​xi​令 d ln ⁡ { L ( θ ) } d θ = − 3 n θ ^ + 1 θ ^ 2 ∑ i = 1 n x i = 0 \frac{d\ln\{L(\theta)\}}{d\theta}=-\frac{3n}{\hat\theta}+\frac 1{\hat\theta^2}\sum_{i=1}^nx_i=0 dθdln{ L(θ)}​=−θ^3n​+θ^21​i=1∑n​xi​=0解得$${\hat{\theta }}_{\text{极大}}=\frac{{\sum }_{i=1}^n{x}_i}{3n}=\frac{\bar{X}}{3}$$ $$EX={\int }_0^{+\infty }x\frac{1}{2{\theta }^2}{x}^2{e}^{-\frac{x}{\theta }}d\frac{x}{\theta }={\int }_0^{+\infty }\frac{\theta }{2}{t}^3{e}^{-t}dt=\frac{\theta }{6}\Gamma (4)=\frac{\theta }{2}3!=3\theta$$ $$E(\hat{\theta })=E(\frac{\bar{X}}{3})=\frac{E(\bar{X})}{3}=\theta$$故 ${\hat{\theta }}_{\text{极大}}$ 是 $\theta$ 的无偏估计量
$$E(X^2)={\int }_0^{+\infty }{x}^2\frac{1}{2{\theta }^2}{x}^2{e}^{-\frac{x}{\theta }}d\frac{x}{\theta }={\int }_0^{+\infty }\frac{{\theta }^2}{2}{t}^4{e}^{-t}dt=\frac{{\theta }^2}{2}\Gamma (5)=\frac{{\theta }^2}{2}4!=12{\theta }^2$$ $$D(\hat{\theta })=D(\frac{\bar{X}}{3})=\frac{D(\bar{X})}{9}=\frac{DX}{9n}=\frac{E(X^2)-9{\theta }^2}{9n}=\frac{{\theta }^2}{3n}$$ $$p(x,\theta )=f(x)=\frac{1}{2{\theta }^3}{x}^2{e}^{-\frac{x}{\theta }}(x>0)$$ $$\ln p(x,\theta )=\ln \frac{1}{2}-3\ln \theta +2\ln x-\frac{x}{\theta }$$ $$\frac{\partial \ln p(x,\theta )}{\partial \theta }=-\frac{3}{\theta }+\frac{x}{{\theta }^2};\frac{{\partial }^2\ln p(x,\theta )}{\partial {\theta }^2}=\frac{3}{{\theta }^2}-\frac{2x}{{\theta }^3}$$ $$E\left\{\frac{{\partial }^2\ln p(x,\theta )}{\partial {\theta }^2}\right\}=E\{\frac{3}{{\theta }^2}-\frac{2x}{{\theta }^3}\}=\frac{3}{{\theta }^2}-\frac{2EX}{{\theta }^3}=-\frac{3}{{\theta }^2}$$ $$I(\theta )=\frac{3}{{\theta }^2}$$C-R下界：$\frac{1}{nI(\theta )}=\frac{{\theta }^2}{3n}=D(\hat{\theta })$，故 ${\hat{\theta }}_{\text{极大}}$ 是 $\theta$ 的有效估计量

4.3 一致性（相合性）

设 $\hat{\theta }(X_1,X_2,\cdots ,X_n)$ 是 $\theta$ 的估计量，若对任意的 $\theta \in \Theta$，当 $n\to \infty$ 时，${\hat{\theta }}_n\stackrel{p}{⟶}\theta$。即对任意的 $ϵ>0$，有 $\underset{n\to \infty }{\lim }P(|{\hat{\theta }}_n-\theta |\ge ϵ)=0$ 成立。则称 $\hat{\theta }$ 为 $\theta$ 的相合估计量或者一致估计量。
矩估计都是一致估计，极大似然估计验证一致性较复杂。