统计学习--最大似然和贝叶斯估计的联系

概率和统计的区别

概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

最大似然估计为点估计

利用数据样本信息 

在参数Theta下数据集X发生的概率最大

贝叶斯估计为分布估计

利用数据样本信息和先验知识

也即是在数据集X发生的情况下,哪一个参数yi发生的概率最大,称为后验概率,测试结果下,结果是真实的概率

一个较好的例子:

1、掷硬币实验

  试验为伯努利试验

 

极大似然估计的推导:

贝叶斯估计的推导

2、数据服从正态分布,依据样本估计u,通过极大似然估计和贝叶斯估计来阐述

极大似然估计推导:

贝叶斯估计:

参考资料

1、《统计学习》

2、最大似然估计MLE与贝叶斯估计 https://blog.csdn.net/bitcarmanlee/article/details/52201858

3、详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解https://blog.csdn.net/u011508640/article/details/72815981

4、伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

 https://blog.csdn.net/kingzone_2008/article/details/80584743

5、正态分布https://blog.csdn.net/huangjx36/article/details/77982503

发布了136 篇原创文章 · 获赞 112 · 访问量 9万+

猜你喜欢

转载自blog.csdn.net/heda3/article/details/99709264