【机器学习】先验概率、似然函数、后验概率、对数似然函数等概念的理解

1)先验:统计历史上的经验而知当下发生的概率;

2)后验:当下由因及果的概率;

2、网上有个例子说的透彻:

1)先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率;

2)似然——看到了某种结果,对产生结果的原因作出假设:是刮风了?还是有乌云?还是现在是上午十二点?(每一个伴随此结果的,都是可能导致此结果的原因)我们现在计算的就是P(θi|X),已知X,求每一个θi对应的概率。显然,“乌云”的概率远大于“上午十二点”。下雨(果)的时候有乌云(因/证据/观察的数据)的概率,即已经有了果,对证据发生的可能性描述;

3)后验——根据天上有乌云(原因或者证据/观察数据),下雨(结果)的概率;

后验 ~ 先验*似然(后验正比于先验与似然的乘积) : 存在下雨的可能(先验),下雨之前会有乌云(似然)~ 通过现在有乌云推断下雨概率(后验);

3、帮助主观理解的例子:

先验概率可理解为统计概率,后验概率可理解为“参数”条件概率。


设定背景:酒至半酣,忽阴云漠漠,骤雨将至。

情景一:
“天不会下雨的,历史上这里下雨的概率是20%”----先验概率
“阴云漠漠时,下雨的概率是80%”----后验概率

情景二:
“飞飞别急着走啊,历史上酒桌上死人的概率只有5%“----先验概率
”他是曹操啊,梦里都杀人“----后验概率

情景三:
“她的车技不好,坐她的车我们很危险”----先验概率
“她喝了酒开车,太危险了”----后验概率

情景三是想说明:已知的参数并不一定会“反转”先验概率,也并不一定会“support”先验概率,甚至不一定会改变先验概率(比如,已知参数是她的车顶上有鸟屎,那么已知参数的影响趋于0)。

情景四:
新疆的西瓜好吃—先验概率
这个新疆的西瓜并没有熟,它肯定不好吃—后验概率

从数学角度理解一下似然函数:
现有一个数据集,只有正负两类,要用一个超平面将他分类,求出这个超平面,超平面的参数为w(向量)和b。
w和b的任意取值构成的每一个超平面都是假设空间的元素,都可能是我们需要的模型,每一个超平面都有一个对应的似然函数,其值代表了这个超平面是我们要的模型的可能性,似然函数越大,说明这组w和b的取值对应的超平面越符合我们的需求(越能正确地将数据集分类),这里的似然函数就可以是分类准确率,但是分类准确率不方便我们将函数最优化,故而,我们将似然函数用每一点到超平面的距离来表示,那么就很Ok了。将似然函数最优化的结果就是最优的参数取值的结果。


REFERENCE:
作者:fjssharpsword
来源:CSDN
原文:https://blog.csdn.net/fjssharpsword/article/details/72356277
版权声明:本文为博主原创文章,转载请附上博文链接!

猜你喜欢

转载自blog.csdn.net/qq_43472414/article/details/83213810