机器学习|点估计-矩阵计法（以k阶原点矩为例）| 15mins入门|概统学习笔记（二十五）

寻求估计量的方法

• 类别：
  1. 矩阵计法
  2. 极大似然法
  3. 最小二乘法
  4. 贝叶斯方法

(一) 矩阵计法：

思想：基于一种简单的”替换“思想建立起来的一种估计方法，用相应的样本矩估计总体矩。

理论依据：大数定律或格列汶科定理。

• 总体k阶原点矩为 $\mu_k=E(X^k)$

  样本k阶原点矩为 $A_k=\frac{1}{n}\sum_{i=1}^nX_i^k$

  总体k阶中心矩为 $v_k=E[X-E(X)]^k$

  样本k阶中心矩为 $B_k=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^k$

• 定义：设总体的分布函数中含有k个未知参数 $\theta_1,...,\theta_k$，那么它的前k阶矩 $\mu_1,...,\mu_k$一般都是这k个参数的函数，记为：
  $\mu_i=g_i(\theta_1,...,\theta_k) \quad i=1,2,...,k$
  从这k个方程中解出
  $\theta_j=h_j(\mu_1,...,\mu_k) \quad j=1,2,...,k$
  那么用诸 $\mu_i$的估计量 $A_i$（样本矩）分别替代上式中的诸 $\mu_i$，即可得诸 $\theta_j$的矩估计量：
  $\hat \theta_j=h_j(A_1,...,A_k) \quad j=1,2,...,k$

• 优点：简单易行，不要需要事先知道总体是什么分布

• 缺点：当总体类型已知时，没有充分利用分布提供的信息。一般场合下，矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替时带有一定的随意性

e.g 例1

设总体X的均值 $\mu$及方差 $\sigma^2$存在，且 $\sigma>0$。但 $\mu、\sigma^2$均为未知，又设 $X_1,X_2,...,X_n$是来自X的样本，试求 $\mu、\sigma^2$的矩估计量。

（这里都用k阶原点矩求）

第一步：先求总体的前k阶矩（本题共有两个未知参数，故k=2）
$\begin{cases}\mu_1=E(X)=\mu \\\mu_2=E(X^2)=D(X)+[E(X)]^2=\sigma^2+\mu^2\end{cases}$
第二步：根据第一步求出的总体的前k阶矩构成的方程组，求解未知参数
$\begin{cases}\mu=\mu_1 \\\sigma^2=\mu_2-\mu_1^2\end{cases}$
第三步：用样本 $(X_1,X_2,...,X_n)$的前k阶矩 $(A_i)$代替总体的前k阶矩 $(\mu_i)$。同时，用矩估计量 $(\hat \mu, \hat {\sigma^2})$代替总体的未知参数 $(\mu,\sigma^2)$

即令 $A_i=\mu_i(A_1=\mu_1、A_2=\mu_2), \quad \hat \mu=\mu、 \space \hat {\sigma^2}=\sigma$
$\begin{cases}\hat \mu=A_1=\overline X \\\hat{\sigma^2} = A_2-A_1^2=\frac{1}{n}\sum_{i=1}^nX_i^2-\overline X^2=\frac{1}{n}\sum_{i=1}^n(X_i^2-\overline X^2)\end{cases}$
注：上式即为总体的均值、方差的矩估计量的表达式，它不因总体分布的不同而不同