机器学习|全概率公式和贝叶斯公式及其关系（由原因推结果和由结果推原因）|20mins入门|概统学习笔记（十五）

全概率公式和贝叶斯公式

• 两者实质：是加法公式和乘法公式的综合运用

  • 加法公式 $P(A+B)=P(A)+P(B)$，A、B互斥

  • 乘法公式 $P(AB)=P(A)P(B|A),\space P(A)>0$

1. 全概率公式-”由原因推结果“

• 定义：设 $A_1,A_2,...,A_n$是两两互斥的事件，且 $P(A_i)>0,\space i=1,2,...,n$,另有一事件B，它总是与 $A_1,A_2,...,A_n$之一同时发生，则
  $P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$
  若S为随机试验的样本空间，有 $\bigcup_{i=1}^nA_i=S$，则称满足上述条件的 $A_1,A_2,...,A_n$为完备事件组。

• 意义：在较复杂情况下直接计算 $P(B)$不易，但B总是伴随着某个 $A_i$出现，适当地去构造这一组 $A_i$往往可以简化计算

• 新角度理解：某一事件B的发生有各种可能的原因 $(i=1,2,....,n)$，如果B是由原因 $A_i$所引起，则B发生的概率是
  $P(BA_i)=P(A_i)P(B|A_i)$
  每一原因都可能导致B发生，故B发生的概率是各原因引起B发生概率的总和，即全概率公式

  由此，可以形象地把全概率公式看成为”由原因推结果“，每个原因对结果的发生有一定的”作用“，即结果发生的可能性与各种原因的”作用“大小有关。而全概率表达了他们之间的关系

• e.g

  有三个箱子，分别编号为 1, 2, 3，1 号箱装有 1 个红球 4 个白球，2 号箱装有 2 红 3 白球，3 号箱装有 3 红球. 某人从三箱中任取一箱，从中任意摸出一球，求取得红球的概率。

  解：记 $A_i=${球取自i号箱}， $i=1,2,3;B=${取得红球}

  B发生总是随着 $A_1,A_2,A_3$之一同时发生，即 $B=A_1B+A_2B+A_3B$，且 $A_1B、A_2B、A_3B$两两互斥

  $\therefore P(B)=P(A_1B)+P(A_2B)+P(A_3B)=\sum_{i=1}^3P(A_i)P(B|A_I)$

  代入数据得: $P(B)=\frac{8}{15}$

2. 贝叶斯公式-”已知结果求原因“

• 定义：设 $A_1,A_2,...,A_n$是两两互斥的事件，且 $P(A_i)>0,i=1,2,...,n$另有一事件B，它总是与 $A_1,A_2,...,A_n$之一同时发生，则
  $P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum_{j=1}^nP(A_j)P(B|A_j)} \quad i=1,2,...,n$
  它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率。

  在贝叶斯公式中， $P(A_i)$和 $P(A_i|B)$分别称为原因的验前概率和验后概率

  $P(A_i)(i=1,2,...,n)$是在没有进一步信息（不知道事件B是否发生）的情况下，人们对诸事件发生可能性大小的认识。

  当有了新的信息（知道B发生），人们对诸事件发生可能性大小 $P(A_i|B)$有了新的估计

• e.g

  有三个箱子，分别编号为 1, 2, 3，1 号箱装有 1 个红球 4 个白球，2 号箱装有 2 红 3 白球，3 号箱装有 3 红球. 某人从三箱中任取一箱，从中任意摸出一球，发现是红球，求该球是取自1号箱的概率。

  解：记 $A_i=${球取自i号箱}， $i=1,2,3;B=${取得红球}

  求： $P(A_1|B)$

  ​ $P(A_1|B)=\frac{P(A_1B)}{P(B)}=\frac{P(A_1)P(B|A_1)}{\sum_{k=1}^3P(A_k)P(B|A_k)}$