自然语言处理中数学基础（概率论）

自然语言处理中数学基础（概率论）

1.全概率公式

如果是${A_1}$,${A_2}$,…,${A_n}$是一个完备事件组，并且都具有正概率，则有:

$$\begin{array}{l}P(B) = P({A_1})P(B|{A_1}) + P({A_2})P(B|{A_2}) + ... + P({A_n})P(B|{A_n})\\ {\rm{ = }}\sum\limits_{i = 1}^n {P(} {A_i})P(B|{A_i}) \end{array}$$
这个等式也可以化简为：
$P(B) = P({A_1}B) + P({A_2}B) + ... + P({A_{\rm{n}}}B)$

2.贝叶斯公式

已知某事情已经发生，要考察引起该事件发生的各种原因或情况的可能性大小，会使用这个公式：
设${A_1}$,${A_2}$,…,${A_n}$是一个完备事件组，则对任意事件B,P(B)>0，有：
$P({A_i}|B) = \frac{{P({A_i}B)}}{{P(B)}} = \frac{{P({A_i})P(B|{A_i})}}{{\sum\limits_{i = 1}^n {P({A_i})P(B|{A_i})} }}{\rm{ }}(i = 1,2,...,n)$
需要说明的是：
$P(A_i)$是先验概率；$P(A_i|B)$是后验概率
其实推导这个公式也不是很难，使用全概率公式和条件概率即可推导出本公式。