[转] 先验概率and后验概率

from: https://blog.csdn.net/yangang908/article/details/62215209

and : https://my.oschina.net/xiaoluobutou/blog/688245

先验概率：

事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。

后验概率：

事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。

条件概率：

一个事件发生后另一个事件发生的概率。一般的形式为P(x|y)表示y发生的条件下x发生的概率。

贝叶斯公式：

    P(y|x) = ( P(x|y) * P(y) ) / P(x)

这里：

    P(y|x) 是后验概率，一般是我们求解的目标。

    P(x|y) 是条件概率，又叫似然概率，一般是通过历史数据统计得到。一般不把它叫做先验概率，但从定义上也符合先验定义。

    P(y) 是先验概率，一般都是人主观给出的。贝叶斯中的先验概率一般特指它。

    P(x) 其实也是先验概率，只是在贝叶斯的很多应用中不重要（因为只要最大后验不求绝对值），需要时往往用全概率公式计算得到。

实例：假设y是文章种类，是一个枚举值；x是向量，表示文章中各个单词的出现次数。

在拥有训练集的情况下，显然除了后验概率P(y|x)中的x来自一篇新文章无法得到，p(x),p(y),p(x|y)都是可以在抽样集合上统计出的。

最大似然理论：

    认为P(x|y)最大的类别y，就是当前文档所属类别。即Max P(x|y) = Max p(x1|y)*p(x2|y)*...p(xn|y), for all y

贝叶斯理论：

    认为需要增加先验概率p(y)，因为有可能某个y是很稀有的类别几千年才看见一次，即使P(x|y)很高，也很可能不是它。

    所以y = Max P(x|y) * P(y), 其中p(y)一般是数据集里统计出来的。

从上例来讲，贝叶斯理论显然更合理一些；但实际中很多先验概率是拍脑袋得出的（不准），有些甚至是为了方便求解方便生造出来的（硬凑），那有先验又有什么好处呢？一般攻击贝叶斯都在于这一点。