朴素贝叶斯（一）知识准备---条件概率、全概率、贝叶斯公式

1 条件概率

        设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率为：
$P(A|B)=\frac{P(A,B)}{P(B)}$

        一般说到条件概率这一概念的时候，事件A和事件B都是同一实验下的不同的结果集合，事件A和事件B一般是有交集的，若没有交集（互斥），则条件概率为0。

        用图更能说明上述问题，我们进行某一实验，某一实验所有的可能的样本的结合为Ω（也即穷举实验的所有样本），圆圈A代表事件A所能囊括的所有样本，圆圈B代表事件B所能囊括的所有样本。
                                                                
        由图再来理解一下这个问题：“B已经发生的条件下，A发生的概率”，这句话中，“B已经发生”就相当于已经把样本的可选范围限制在了圆圈B中，其实就等价于这句话：“在圆圈B中，A发生的概率”，显然P(A|B)就等于A，B交集中样本的数目/B的样本数目（为什么这里用的是样本的数目相除，而上面的公式却是用的概率相除，原因很简单，用样本数目相除时，把分子分母同除以总样本数，这就变成了概率相除）。

2 乘法公式

        这里的乘法公式其实是条件概率公式的变形，具体推导如下：
        由 $P(A|B)=\frac{P(A,B)}{P(B)}$，可得 $P(A,B)=P(A|B)P(B)$,由 $P(B|A)=\frac{P(B,A)}{P(A)}$，可得 $P(B,A)=P(B|A)P(A)$,其中 $P(A,B)=P(B,A)$，所以有如下式子即乘法公式成立：
$P(A,B)=P(A|B)P(B)=P(B|A)P(A)$
        乘法公式推广：对于任何正整数 $n≥2$，当 $P(A_1A_2...A_{n-1}) > 0$ 时，有如下式子成立：
$P(A_1A_2...A_{n-1}A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1A_2...A_{n-1})$

3 全概率公式

• 如果事件组 $B_1$， $B_2$，… 满足
  • $B_1$， $B_2$…两两互斥，即 $B_i ∩ B_j = ∅$ ， $i≠j ， i,j=1，2，....，$且 $P(B_i)>0$, $i=1,2,....$;
  • $B_1∪B_2∪....=Ω$ ，则称事件组 $B_1,B_2,..$.是样本空间 $Ω$的一个划分
  • 设 $B_1,B_2,...$是样本空间 $Ω$的一个划分，A为任一事件，则： $P(A)=\sum_{i=1}^{\infty}P(B_i)P(A|B_i)$
    下面我们还是以图解的方式来分析上述全概率公式是怎么得到的。
                                                                   

        已知各个 $A∩B_i$的样本数、 $B_i$的样本数，求 $A$的样本数 / 总样本数 $Ω$？

       上图中，某一实验所有的可能的样本的集合为 $Ω$，圆圈 $A$代表事件 $A$所能囊括的所有样本。
       把总集合 $Ω$分为 $n$个小集合，依次为 $B_1、B_2···B_n$，这些小集合两两互斥（满足上述全概率公式的两个条件）。
       显然， $A$的样本数目可以通过与 $B_i$的交集来获得，也即 $= A∩B_1的样本数 + A∩B_2的样本数 +····+（A∩B_n的样本数）(在分析条件概率时已经说过，样本数公式和概率公式，本质上是一样的东西),$A∩B_i$的样本数可以通过乘法公式获得。通过上述分析可以得到全概率公式。

4 贝叶斯公式

       与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件 $A$已经发生的条件下，分割中的小事件 $B_i$的概率），设 $B_1,B_2,...$是样本空间 $Ω$的一个划分，则对任一事件 $A（P(A)>0)$,有
$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{\infty}{P(B_j)P(A|B_j)}}$
       上式即为贝叶斯公式（Bayes formula)。贝叶斯公式就是条件概率、乘法公式、全概率公式的组合。

• $B_i$ 常被视为导致试验结果 $A$发生的”原因“， $P(Bi)(i=1,2,...)$表示各种原因发生的可能性大小，故称先验概率；
• $P(Bi|A)(i=1,2...)$则反映当试验产生了结果 $A$之后，再对各种原因概率的新认识，故称后验概率。
         下面举例来说明贝叶斯公式怎么用。
                                                                 
      已知各个 $A∩B_i$的样本数、 $B_i$的样本数，求 $A∩B_3$的样本数 / $A$的样本数？

       例子：发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2受到信号“∪”和“—”；又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时，发报台确系发出“∪”的概率。

       解析：贝叶斯这一概念，所探讨的问题，也是事件A和事件B都是某一实验的不同的结果集合，然后把事件B这个结果集合分为n小份，每一小份也是结果集合，只不过这些小集合一定位于B集合内部，每一小份结果集合称为 $B_i(i∈[1,n])$， $B_i$之间两两互斥，所有 $B_i$并起来就是B。
       本例中，实验为“发一次报，收一次报，然后记录发、收的字符”，事件A为“收到了U”，事件B为"发出了信号"，事件 $B_1$为“发出了U”，事件 $B_2$为“发出了—”，显然这里 $B_1∪B_2=B，B_1∩B_2=∅$。要想求 $P(B_1 | A)$，根据条件概率公式， $P(B_1 | A)=\frac{P(B_1 A)}{P(A)}$，只要分别计算出分子分母就行了，显然分子可以用上面的乘法公式来求，分母为已知（若分母未知，就得用全概率公式来求）。

       这几个公式不用死记硬背，把这几个图记住，公式基本上就可以分析出来啦。