简单理解极大似然估计MLE

简单理解极大似然估计（MLE）

基本思想

使数据集中数据出现的概率（似然）最大

举例描述

假设某一个新闻文档数据集下有体育、财经、游戏等分类，已知体育类下的所有文档中“篮球“一词出现了100次（可以统计得出，此处为了方便表示取成100），体育类下所有文档的总的词汇有10000个（可以统计得出）。我们想要估计在体育类下“篮球“一词出现的概率P(t=”篮球” | c = “体育“) 。
为了方便描述首先我们将概率P(t=”篮球” | c = “体育“) 记为$p_1$。根据上面的基本思想，概率$p_1$的取值应该让体育类中出现100次篮球的概率最大，那么体育类下10000个单词中出现100次词汇篮球的概率可以表示成 $f(p_1) = C_{10000}^{100}p_1^{100}(1-p_1)^{10000-100}$。
要让上述概率最大，我们只需要对$p_1$进行求导，令导数等与0，从而得到上述概率表示的极大值也是最大值，此时求得$p_1 = \frac{100}{10000}$。

总结一下，极大似然就是对于某个事件的概率p，p使得观测数据集中对应该事件取值为最大。即使给定数据集中某个事件出现的概率最大。