先验概率 / 后验概率 / 条件概率 / 全概率公式 / 贝叶斯公式

条件概率

条件概率：指在一个事件已经发生的条件下，另一事件发生的概率。

将一枚硬币抛掷两次，观察其出现正反面的情况。设事件 $A$ 表示 “至少有一次出现正面”，事件 $B$ 表示 “两次都出现同一面”。
求：
（1）事件 $B$ 发生的概率；
（2）已知事件 $A$ 发生的条件下，事件 $B$ 发生的概率。

设：$H$ 表示硬币正面，$T$ 表示硬币反面。
则：样本空间： S = { H H , H T , T H , T T } S = \{HH, HT, TH, TT\} S={ HH,HT,TH,TT}， A = { H H , H T , T H } A = \{HH, HT, TH\} A={ HH,HT,TH}， B = { H H , T T } B = \{HH, TT\} B={ HH,TT}

（1）事件 $B$ 发生的概率等于事件 $B$ 包含的样本个数除总样本空间的个数，即 $P(B)=\frac{N(B)}{B(S)}=\frac{2}{4}=\frac{1}{2}$
（2）若事件 $A$ 已经发生，则此时 $TT$ 不会出现，属于事件 $B$ 的可能情况只有 $HH$ 一种，样本空间变成了事件 $A$（样本空间缩小），仅包含三个基本事件。因此在事件 $A$ 发生的条件下，事件 $B$ 发生的概率 $P(B|A)=\frac{1}{3}$

可以看到 $P(B|A)\ne P(B)$，我们将 $P(B|A)$ 叫做 $A$ 发生条件下 $B$ 发生的概率，即条件概率。

$P(AB)$ 与 $P(B|A)$ 的区别？

• $P(AB)$ 指 $A$、$B$ 同时发生的概率，是以全体事件为 100% 来计算 $A$、$B$ 同时发生的概率。
• $P(B|A)$ 是在已经发生了 $A$ 的前提下发生 $B$ 的概率，是以发生 $A$ 为 100% 来计算 $A$、$B$ 同时发生的概率。
• 两者关系：$P(B|A)=P(AB)/P(A)$

先验概率 & 后验概率

先验概率：根据以往经验和分析，在实验或采样前就可以得到的概率。

后验概率：某件事件已经发生，计算这件事的发生是由某个原因而引起的概率。

后验概率和条件概率的关系：后验概率属于一种条件概率，其条件为观测结果，事件为隐变量取值；而通常的条件概率其条件和事件都可以是任意的。比如：

（1）条件概率：出门前听新闻说今天路上出现了交通事故，那么我们想推算一下因此而堵车的概率，也就是 P(堵车|交通事故)，这是由因推果。
（2）后验概率：出门后路上遇到了堵车，我们想推算一下这次堵车是由发生了交通事故而引起的概率有多大，也就是后验概率 P(交通事故|堵车)，这是执果索因。

因此，后验概率是在已知事件 $B$ 发生的情况下，求解其中事件 $A$ 发生的概率，而事件 $A$ 正是事件 $B$ 发生的一个隐状态事件，即 $A$ 与 $B$ 前后是有关联的。而一般的条件概率，事件 $A$ 和 事件 $B$ 可以是没有任何关系的。

全概率公式 & 贝叶斯公式

全概率公式：设事件 $B_1,B_2,...,B_n$ 构成一个完备事件组，即它们两两不相容，和为全集，且 $P(B_i)>0$。则对任一事件 $A$ 有：
$$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$
全概率公式的思想：当知道事件 $A$ 的原因后，推断由这些原因导致事件 $A$（结果）发生的概率为多少，是一种由因推果的思想。

贝叶斯公式：
$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{{\sum }_{i=1}^{n}P(B_i)P(A|B_i)}$$

贝叶斯公式的思想：已知某件事的结果（$A$）后，由结果推断这件事是由各个原因导致的概率为多少，是一种执果索因的思想。

参考

[1] https://zhuanlan.zhihu.com/p/78097135
[2] https://zhuanlan.zhihu.com/p/38567891