极大似然估计法

极大似然估计法

如果总体X为离散型

假设分布率为P=p(x;θ)P=p(x;θ)，x是发生的样本，θθ是代估计的参数，p(x;θ)p(x;θ)表示估计参数为θθ时，发生x的的概率。

那么当我们的样本值为：x1,x2,...,xnx1,x2,...,xn时，

L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)

其中 L(θ)L(θ)成为样本的似然函数。

假设

L(x1,x2,...,xn;θ^)=maxθ∈ΘL(x1,x2,...,xn;θ)L(x1,x2,...,xn;θ^)=maxθ∈ΘL(x1,x2,...,xn;θ)

有  θ^θ^ 使得  L(θ)L(θ) 的取值最大，那么  θ^θ^就叫做参数  θθ 的极大似然估计值。

如果总体X为连续型

基本和上面类似，只是概率密度为f(x;θ)f(x;θ)，替代p。

解法

1. 构造似然函数L(θ)L(θ)
2. 取对数：lnL(θ)lnL(θ)
3. 求导，计算极值
4. 解方程，得到θθ

解释一下，其他的步骤很好理解，第二步取对数是为什么呢？

因为根据前面你的似然函数公式，是一堆的数字相乘，这种算法求导会非常麻烦，而取对数是一种很方便的手段：

• 由于ln对数属于单调递增函数，因此不会改变极值点
• 由于对数的计算法则：lnab=blnalnab=blna、lnab=lna+lnblnab=lna+lnb ，求导就很方便了

例子这里就不举了，感兴趣的话，可以看看参考的第二篇里面有好几个求解极大似然估计的例子。