最大似然估计 与 最大后验概率估计

似然函数 (likelihood function)

从英文翻译中能够更好理解字面含义。likelihood 表示一种可能性。

不同的参数对应不同的模型,而某一个事件X,在不同模型下发生的概率是不同的。似然函数用来求不同的模型参数下,事件 X 发生的概率是多少。

最大似然估计 (Maximum Likelihood Estimation)

似然函数的最大值,就是最大似然估计。

首先确定一件事:能够真实描述事件X的模型,是使得事件X发生概率最大的模型。

已知某个事件X 已发生,并且模型已知,需要求未知的参数。当事件X发生时,最大似然估计的意义是求出一组参数,使得这组参数能够使得事件 X 发生的概率达到最大。

比如扔硬币模型。这个模型中未知的参数就是正面向上的概率 theta. 为了求得这个theta,进行了 10 次实验,发现有 6 次是正面。那么很容易得到这样的结论,当正面向上的概率是 0.6 时,10次扔硬币实验中6次向上的概率才是最大的。

最大似然估计实际上是去求一个模型的参数。也可以说最大似然估计是求一个模型。


最大后验概率(Maximum A Posterior Estimation)

有些人认为,不能通过某些事件的最大似然估计来得到这个模型的参数。因为这个事件的发生本来就有一定的偶然性。因此提出最大后验概率。

“后验”是和“先验”对比的。先验概率的意思是在预测某事件发生时,事先对该概率有一个经验性的判断。

然后结合实验,来修正这个判断。

在 Naive Bayes 中用到的概率就是最大后验概率(maximum a posterior estimation)

扫描二维码关注公众号,回复: 1780232 查看本文章


参考链接

https://blog.csdn.net/u011508640/article/details/72815981

猜你喜欢

转载自blog.csdn.net/chichiply/article/details/80553852
今日推荐