[Machine Learning] 贝叶斯公式 & 全概率公式（Bayes Rule & Total Probability Theorem）

Keywords

• Bayes Rule（贝叶斯公式）
• Total Probability Theorem（全概率公式）
• Prior Probability（先验概率）
• Posterior Probability（后验概率）

举个例子

如图，这是一个简单两步式的模型。

现在我们需要完成事件 $B$，那么可以有n种不同的路 $A_1,A_2,A_3,...,A_n$选择：

如果我们选择 $A_1$这条路，那么：

• 第一步：选择 $A_1$的概率就是 $P(A_1)$
• 第二步：就是在 $A_1$发生的条件下事件B发生的概率 $P(B|A_1)$

由此，我们就可以求出，由第一条路径 $A_1$完成事件 $B$的概率为 $P(A_1)\cdot P(B|A_1)$

类似的，第二条，第三条,…，第n条路径完成事件 $B$的概率也是一样做法。

所以我们就可以得到完成事件B的概率，即所有路径的概率相加：
$P(B) = P(A_1) P(B|A_1) + P(A_2) P(B|A_2) + ... + P(A_n) P(B|A_n) = \sum_{i=1}^{n}P(A_i) P(B|A_i)$

而这个公式就是我们的全概率公式！ $P(B)、P(A_i)(i = 1,2,...,n)$是一个先验概率。

现在，如果我们已经完成了事件B，我们想知道是通过路径 $A_i$完成事件B的概率，即：
$P(A_i|B) = \frac{P(A_i)P(B|A_i)}{P(B)} = \frac{P(A_i)P(B|A_i)}{P(A_1) P(B|A_1) + P(A_2) P(B|A_2) + ... + P(A_n) P(B|A_n)}$

而这个公式就是我们的贝叶斯公式！ $P(A_i|B)$是一个后验概率。

“如果我们把事件 $B$看作’结果’，把诸事件 $B_1,B_2,...$看作导致这个结果的可能的’原因’，则可以形象地把全概率公式看作成为’由原因推结果’；而贝叶斯公式恰好相反，其作用于’由结果推原因’：现在有一个’结果 $B$’已发生，在众多可能的’原因’中，到底是哪一个导致了这结果。”

Prior & Posterior Probability（先验概率&后验概率）

先验概率

先验概率是指根据以往经验和分析得到的概率，通俗来讲就算是根据统计和规律得出的概率。

事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。

一般都是单独事件概率，如 $P(x)$， $P(y)$

后验概率

后验概率是指在得到“结果”的信息后重新修正的概率。

通俗来讲就是事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小。

先验概率和后验概率的关系

• 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式。
• 后验概率的计算要以先验概率为基础。后验概率可以通过贝叶斯公式，用先验概率和似然函数计算出来

全概率公式

若事件 $A_1,A_2,...,$构成一个完备事件组并且都有正概率，则对任何一个事件B，有
$P(B) = \sum_{i}P(A_i) P(B|A_i)$

证： $A_1,A_2,...$两两互斥，故 $A_1B,A_2B,...$两两互斥

且 $B = B\Omega = B(\sum_{i}P(A_i)) = \sum_{i}P(A_i)B$

由加法法则$P(B) =\sum_{i}P(A_iB) $

再由乘法法则 $P(A_iB) = P(A_i)P(B|A_i)$

故 $P(B) = \sum_{i}P(A_i)P(B|A_i)$

贝叶斯公式

若事件 $A_1,A_2,...,$构成一个完备事件组并且都有正概率，则对任何一个概率不为0的事件B，有
$P(A_i|B) = \frac{P(A_i)P(B|A_i)}{\sum_{i}P(A_i)P(B|A_i)}$

证：
$P(A_i|B) = \frac{P(A_iB)}{P(B)} = \frac{P(A_i)P(B|A_i)}{\sum_{i}P(A_i)P(B|A_i)}$

结论

全概率：各原因下条件概率已知 $\rightarrow$求事件发生的概率

贝叶斯：求是某种原因造成的概率 $\leftarrow$事件已发生

“概率论只不过是把常识用数学公式表达了出来”——拉普拉斯

文章就到这里，还请大家帮忙勘误！

（如果文章对您有帮助，希望得到您的点赞或评论！谢谢~）