学习笔记16：极大似然估计

首先来看一个例子，设有两个完全相同的盒子A和B，其中，盒子A中有99个白球，1个黑球；盒子B中有99个黑球，一个白球。今随机抽取一箱，并从中抽取一球，结果取得的是白球，问这个球从哪个箱子取出？

对于这个例子，想必大多人会说，是从盒子A中取出的，因为盒子A中有99%是白球，而盒子B中的白球仅占1%，所以盒子A的可能性远远大于B。换言之，这个球“更像”盒子A中取出的。这里的“更像”即为最大似然之原意。（’最大似然’这个名字听起来更高大上，仅此而已）。

所以说起来，最大似然估计就是让出现这件事情的概率达到最大的那个假设。
当然，问题不会总是这么简单。我们再来看一个例子。

我们用随机变量X来表示某产品经过检查后的不合格数，X=0为合格，X=1为不合格，那么X则服从二点分布，即X~b(1,p)，这里p为不合格率（二点分布的意思就是合格的概率是1-p，不合格的概率是p）。先抽取n各产品，检查结果为x1,x2,…,xn，让我们估计p的大小。
首先，检查结果为x1,x2,…,xn的概率为：

$$L(p)=\Pi_{i=1}^np^{x_i}(1-p)^{1-x_i}$$
这里，我们欲估计的p应该使得上式的值最大，即出现这种检查结果的概率最大。记之为L(p)，称作最大似然函数。我们欲求L(p)取得最大值时的p。
对其取对数后求导并令其为0，得：
$$\frac{\Sigma_{i=1}^nx_i}{p}-\frac{n-{\Sigma_{i=1}^nx_i}}{1-p}=0$$
解得p的最大似然估计，为 $$\overline p=\frac{\Sigma_{i=1}^nx_i}{n}=\overline x$$
以上即为求最大似然估计的基本思路。对离散总体，设有样本观测值x1,x2,…,xn，我们写出该观测值出现的概率，它依赖于某些参数，设这些参数为 θ ，将该概率看作 θ 的函数，又称作似然函数，即
$$L(\theta)=P(X_1=x_1,X_2=x_2,...,X_n=x_n;\theta)$$
求最大似然估计就是找 θ 的估计值，使得L(θ)达到最大。通常来讲，将似然函数取对数后求导是最大似然估计最常用的方法。
MLE是一种非常有效的参数估计方法，但当分布中有多于参数或数据缺失时，利用上述方法求MLE是比较困难的。于是，1977年，Dempster等人提出了EM算法。

EM算法的过程大体可以分为两步：一是求期望，二是求极大值。由于其比较复杂本文不做深入介绍，可参见相关的概率论教程。