概率论：3.4参数的估计

本课程来自 深度之眼，部分截图来自课程视频。
【第三章 概率论】3.3期望与方差
在线LaTeX公式编辑器

任务详解：

掌握矩估计和极大似然估计算法

1.矩估计

算一些矩的统计量。之前算的期望实际上是一阶矩统计
$\int_{-\infty}^{+\infty}xf(x)dx$
方差实际上是二阶矩统计
$\int_{-\infty}^{+\infty}x^2f(x)dx$
下面看k阶矩统计。
设 $X$为连续型随机变量，其概率密度为 $f(x;\theta_1,\theta_2,\cdots,\theta_k)$，或 $X$为离散型随机变量，其分布律为 $P\{X=x\}=p(x;\theta_1,\theta_2,\cdots,\theta_k)$，其中 $\theta_1,\theta_2,\cdots,\theta_k$为待估参数， $X_1,X_2,\cdots,X_n$是来自 $X$的样本。假设总体 $X$的前 $k$阶矩：
连续型：
$\mu_l=E(X^l)=\int_{-\infty}^{+\infty}x^lf(x;\theta_1,\theta_2,\cdots,\theta_k)dx,l=1,2,\cdots,k$
离散型：
$\mu_l=E(X^l)=\sum_{x\in R_X}x^lp(x;\theta_1,\theta_2,\cdots,\theta_k),l=1,2,\cdots,k$
$k$阶矩中，x都被积分积掉，或者求和求掉，所以这 $k$阶矩的 $\mu_1(\theta_1,\theta_2,\cdots,\theta_k),\mu_2(\theta_1,\theta_2,\cdots,\theta_k),...,\mu_l(\theta_1,\theta_2,\cdots,\theta_k)$都是关于参数 $\theta$函数。

样本矩：
$A_l=\frac{1}{n}\sum_{i=1}^nX_i^l$
一阶样本矩：
$A_1=\frac{x_1+x_2+,,,+x_n}{n}$
二阶样本矩：
$A_2=\frac{x_1^2+x_2^2+,,,+x_n^2}{n}$
$l$阶样本矩：
$A_l=\frac{x_1^l+x_2^l+,,,+x_n^l}{n}$
然后样本矩与 $k$阶矩有相等的关系（这个就是矩估计的假设）
$A_1=\mu_1,A_2=\mu_2,...,A_l=\mu_l$
---------------------------------------------------------割你没商量1------------------------------------------------------
看不懂就看例子
例2设总体X在[a,b]上服从均匀分布，a,b未知. $X_1,X_2,\cdots,X_n$是来自X的样本，试求a,b的矩估计量。
解均匀分布的公式为：
$f(x)=\begin{cases}\cfrac{1}{b-a},a<x<b\\0,\quad 其他\end{cases}$
现在要解出a和b，所以要算两个矩统计的方程来解出a和b：
$\mu_1=E(X)=(a+b)/2$
$\mu_2=E(X^2)=D(X)+[E(X)]^2=(b-a)^2/12+(a+b)^2/4$
得到一组方程组：
$\left\{\begin{matrix} a+b=2\mu_1\\ b-a=\sqrt{12(\mu_2-\mu_1^2)} \end{matrix}\right.$
解方程组得：
$a=\mu_1-\sqrt{3(\mu_2-\mu_1^2)},b=\mu_1+\sqrt{3(\mu_2-\mu_1^2)}$
然后用样本矩A来替换 $\mu$，
$A_1=\frac{x_1+x_2+,,,+x_n}{n}=\overline{X}$
$A_2=\frac{x_1^2+x_2^2+,,,+x_n^2}{n}$
得到a，b的矩估计量分别为：
$\widehat a=A_1-\sqrt{3(A_2-A_1^2)}$
$\widehat b=A_1+\sqrt{3(A_2-A_1^2)}$
---------------------------------------------------------割你没商量1------------------------------------------------------
---------------------------------------------------------割你没商量2------------------------------------------------------
下面看一个高斯分布的例子：
例3设总体 $X$的均值 $\mu$及方差 $\sigma^2$都存在，且有 $\sigma^2>0$但 $\mu$， $\sigma^2$均为未知.
又设 $X_1,X_2,\cdots,X_n$是来自 $X$的样本.试求 $\mu$， $\sigma^2$的矩估计量。
解：
$\begin{cases}\mu_1=E(X)=\mu,\\\mu_2=E(X^2)=D(X)+[E(X)]^2=\sigma^2+\mu^2\end{cases}$
解得：
$\begin{cases}\mu=\mu_1,\\\sigma^2=\mu_2-\mu_1^2\end{cases}$
分别用 $A_1,A_2$代替 $\mu_1,\mu_2$，得 $\mu$， $\sigma^2$的矩估计量
$\widehat\mu=A_1=\overline{X}$
$\widehat {\sigma^2}=A_2-A_1^2=\frac{1}{n}\sum_{i=1}^nX_i^2-\overline{X}^2=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2$
---------------------------------------------------------割你没商量2------------------------------------------------------

2.极大似然估计

设 $X_1,X_2,\cdots,X_n$是来自 $X$的样本
联合概率分布： $P(x_1,x_2,\cdots,x_n;\theta)=p(x_1;\theta)p(x_2;\theta)\cdots p(x_n;\theta)$
离散型写成：
$L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^np(x_i;\theta)$
连续型写成：
$L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^nf(x_i;\theta)$
要求参数 $\theta$使得抽到样本 $x_1,x_2,\cdots,x_n$的联合概率最大，也就是把 $\theta$看成变量，求函数 $L(\theta)$的最大值，求极值的做法通常就是求导：
$\frac{d}{d\theta}L(\theta)=0$
由于函数 $L(\theta)$是连乘的形式，不好求解，因此把连乘变成连加，套路就是取对数后求导(极大似然变成对数极大似然)：
$\frac{d}{d\theta}lnL(\theta)=0$
---------------------------------------------------------割你没商量3------------------------------------------------------
例4：设 $X\sim b(1,p)$. $X_1,X_2,\cdots,X_n$是来自 $X$的样本，求参数p的最大似然估计量
解：设样本 $x_1,x_2,\cdots,x_n$是相应于样本 $X_1,X_2,\cdots,X_n$的一个样本值。X的分布律为：
$P\{X=x\}=p^x(1-p)^{1-x},x=0,1$
故似然函数为（这里连乘的指数要累加起来）：
$L(p)=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i},$
走对数似然函数的套路：
$lnL(p)=(\sum_{i=1}^nx_i)lnp+(n-\sum_{i=1}^nx_i)ln(1-p),$
令
$\frac{d}{dp}lnL(p)=\frac{\sum_{i=1}^nx_i}{p}-\frac{n-\sum_{i=1}^nx_i}{1-p}=0,$
解得p的最大似然估计值
$\widehat p=\frac{1}{n}\sum_{i=1}^nx_i=\bar{x},$
p的最大似然估计量为
$\widehat p=\frac{1}{n}\sum_{i=1}^nX_i=\bar{X}.$
---------------------------------------------------------割你没商量3------------------------------------------------------
---------------------------------------------------------割你没商量4------------------------------------------------------
高斯分布用最大似然估计来搞搞。
例5：设 $X\sim N(\mu,\sigma^2)$， $\mu,\sigma^2$为未知参数， $x_1,x_2,\cdots,x_n$是来自 $X$的样本，求 $\mu,\sigma^2$的最大似然估计量。
解：X的概率密度为
$f(x;u,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma}}exp[-\frac{1}{2\sigma^2}(x-\mu)^2]$
似然函数为：
$L(u,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma}}exp[-\frac{1}{2\sigma^2}(x_i-\mu)^2]\\ =(2\pi)^{-\pi/2}(\sigma^2)^{-\pi/2}exp[-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2]$
走对数似然套路：
$lnL=-\frac{n}{2}ln(2\pi)-\frac{n}{2}ln\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2$
令：
$\begin{cases} \cfrac{\partial}{\partial\mu}lnL=\cfrac{1}{\sigma^2}(\sum_{i=1}^nx_i-n\mu)=0, \\ \cfrac{\partial}{\partial\sigma^2}lnL=-\cfrac{n}{2\sigma^2}+\cfrac{1}{2(\sigma^2)^2}\sum_{i=1}^n(x_i-\mu)^2=0. \end{cases}$
由前一式解得 $\widehat \mu=\cfrac{1}{n}\sum_{i=1}^nx_i=\bar{x}$，代入后一式得 $\hat{\sigma^2}=\cfrac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2$，因此得 $\mu,\sigma^2$的最大似然估计量分别为：
$\widehat \mu=\overline{X},\hat{\sigma^2}=\cfrac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2$
---------------------------------------------------------割你没商量4------------------------------------------------------
---------------------------------------------------------割你没商量5------------------------------------------------------
均匀分布的最大似然估计
例2设总体X在[a,b]上服从均匀分布，a,b未知. $x_1,x_2,\cdots,x_n$是来自X的样本，试求a,b的最大似然估计。
由于所有的样本都是在[a,b]上取的，均匀分布的
均匀分布的公式为：
$f(x;a,b)=\begin{cases}\cfrac{1}{b-a},a\leq x\leq b\\0,\quad 其他\end{cases}$
似然函数为（均匀分布每个样本取的概率都一样，乘起来就是下面）：
$L(a,b)=\begin{cases}\cfrac{1}{(b-a)^n},a\leq x_1,x_2,\cdots,x_n\leq b\\0,\quad 其他\end{cases}$
这里不用走对数似然的套路，直接分析，要使得似然函数最大，就要使得分母 $(b-a)^n$最小，也就是b和a尽量接近，但是又要包含 $x_1,x_2,\cdots,x_n$这些样本，因此：
$\hat{a}=minX_i,\hat{b}=maxX_i$
---------------------------------------------------------割你没商量5------------------------------------------------------