MLE和MAP的小结

摘要

本文是关于MLE(最大似然估计)与MAP(最大后验概率)的一些自己学习的心得.
(本文的重点在于对比MLE和MAP)

正文

1.MLE(最大似然估计)

MLE简单的理解可以这样:假设我们手上有一批数据(样本),而且我们假设这些数据(样本)服从某个分布( 模型已知),但是参数未知.这个时候,我们希望对这个参数进行估计,而MLE的思想就是找到一个参数值,使得每条样本出现的概率最大!

具体来说假设样本为$x_1,x_2.....x_n$,待估计的参数为$\theta$.
那么要优化的目标为:
$argmax \ P(x_1,x_2,...x_n|\theta) \tag 0$
假设每个样本间独立同分布那么我们有:
$argmax \ \prod_{i=1}^n{P(x_i|\theta)} \tag 1$
后面一般是取对数,把连乘转化成连加的形式更方便计算,后面就不展开了.

2.MAP(最大后验概率)

还是同样的场景:我们有一批数据(样本),我们假设其服从某个分布(模型已知),参数未知.但是,我们还有一个额外的信息就是,我们虽然不知道参数具体是多少,但是我们知道这个参数也服从某个分布,MAP就是加上这个条件后,去对我们的参数进行估计.

具体可以表现为:
$argmax \ P(\theta|x_1,x_2,...x_n) \tag 2$
做一步贝叶斯公式有:
$\large argmax \ P(\theta|x_1,x_2,...x_n)=\frac{P(x_1,..x_n|\theta)P(\theta)}{P(x_1,x_2...x_n)} \tag3$

其中$P(\theta)$就是我们对$\theta$的一个先验分布
对于分子,我们可以看到,其实就是先验分布和似然概率的乘积.

所以在经过几步的简单推导,我们可以得出MLE和MAP其实区别在于:

首先,我们不要忘了我们的目的,我的们目的是求模型中未知的参数!
1.MLE是通过直接最大化似然概率$P(x_1,..x_n|\theta)$来求解参数$\theta$,而MAP是通过最大化似然概率×先验分布,即$P(x_1,..x_n|\theta)P(\theta)$来求解参数$\theta$.

那这里似乎透露着利用MAP来估计参数会不会使得模型更加的好?这就取决于我们的这个先验概率捏的准不准.

MLE和MAP的联系在于:
1.两者都是用于模型已知,参数未知下对参数进行估计的方法

更多详细的参考资料:
参考资料1
参考资料2