机器学习|点估计（估计量的优良准则）|5mins入门|概统学习笔记（二十四）

估计量的优良准则

• 前提：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量。

  因为估计量是样本的函数，是随机变量。因此，由不同的观测结果，就会求得不同的参数估计值。所以一个好的估计，应在多次试验中体现出优良性。

• 常用的几条标准：

  1. 无偏性

  2. 有效性

  3. 相合性

（一）无偏性：

• 背景：估计量是随机变量，对于不同的样本值会得到不同的估计值。我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值。这就导致了无偏性这个标准。

• 定义：设 $\hat \theta(X_1,...,X_n)$是未知参数 $\theta$的估计量，若 $E(\hat \theta)=\theta$,则称 $\hat \theta$为 $\theta$的无偏估计

• 实际意义：无偏性的实际意义是指没有系统性的偏差

  e.g 用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差。

（二）有效性：

• 背景：一个参数往往有不止一个无偏估计，若 $\hat \theta_1$和 $\hat \theta_2$都是参数 $\theta$的无偏估计量，我们可以比较 $E(\hat \theta_1-\theta)^2$和 $E(\hat \theta_2 - \theta)^2$的大小来决定二者谁更优。由于
  $D(\hat \theta_1)=E(\hat \theta_1-\theta)^2 \\ D(\hat \theta_2)=E(\hat \theta_2-\theta)^2$
  所以无偏估计以方差小者为好，这就引入了有效性这一概念。

• 定义：设 $\hat \theta_1=\hat \theta_1(X_1,...,X_n)$和 $\hat \theta_2=\hat \theta_2(X_1,...,X_n)$都是参数 $\theta$的无偏估计量，若有
  $D(\hat \theta_1)<D(\hat \theta_2)$
  则称 $\hat \theta_1$较 $\hat \theta_2$有效。

• 最小方差无偏估计：设 $X_1,...,X_n$是取自总体X的一个样本， $\hat \theta(X_1,...,X_2)$是未知参数 $\theta$的一个估计量，若 $\hat \theta$满足：

  （1） $E(\hat \theta)=\theta$，即 $\hat \theta$为 $\theta$的无偏估计；

  （2） $D(\hat \theta)\leq D(\hat \theta^*)$， $\hat \theta^*$是 $\theta$的任一无偏估计

  则称 $\hat \theta$为 $\theta$的最小方差无偏估计（也称最佳无偏估计）。