理解无偏估计量

理解无偏估计量

现实中常常有这样的问题，比如，想知道全体女性的身高均值 $\mu$ ，但是没有办法把每个女性都进行测量，只有抽样一些女性来对全体女性的身高进行估计.

那么根据抽样数据怎么样进行推断？什么样的推断方法可以称为好。

无偏性

比如我们抽样到的女性身高为: $x_1,x_2,\dots ,x_n$，那么:

$$\overline{X}=\frac{x_1+x_2+\cdots +x_n}{n}$$

这是对 $\mu$ 一个不错的估计，为什么，因为它是无偏估计。
首先，真正女性的身高均值为 $\mu$ ，但是我们不能计算得到，只能通过估计得到其近似值 $\overline{X}$：

但是实际的估计均值和我们采样的数据相关，它是变化的，因此不同采样得到的 $\overline{X}$ 是围绕 $\mu$ 左右波动的。

这个内容有点像打靶，只要命中在靶心周围就是不错的成绩:

如果出现偏差的话，就出现类似如下图的效果，偏离靶心:

因此无偏估计是好于有偏估计的。

有效性

打靶的时候，右边的成绩肯定更加优秀：

进行估计的时候也是，估计量越靠近目标，效果越好，这个“靠近”可以用方差来衡量，方差越小的话，估计量的分布越接近于 $\mu$。

有效估计和无偏估计是不相关的，从下图可以看出，无论是否偏离靶心，方差更加密集的点更加有效(意味着方差越小):

举个例子，从 $N(\mu ,{\sigma }^2)$ 中抽出10个样本: $x_1,x_2,\dots ,x_{10}$ 下面两个都是无偏估计量：

$$T_1=\frac{x_1+x_3+2x_{10}}{4}$$

$$T_2=\frac{1}{10}\sum _{i=1}10x_i$$

但是后者比前者方差小，后者效果更好，并且在现实中不一定非要选择无偏估计量。

一致性

如果用以下式子去估计方差 ${\sigma }^2$: $S^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$ 会有一个偏差: $\frac{1}{n}{\sigma }^2$。

可以看到，随着采样个数n的增加，这个偏差会越来越小，那么这个估计就是一致的。如果参数样本够多，其实这种有偏但是一致的估计量也是可选的。

总结

判断一个估计量的好快，至少可以从一下三个方面来靠考虑 ：

• 无偏
• 有效
• 一致

实际操作中，要找到满足三个方面的估计量有时候并不容易，因此可以根据情况进行取舍。