人工智能-自然语言处理(NLP)：Noisy Channel Model（噪音通道模型）【各种信号 ----转换----＞ 文本】

一、贝叶斯公式

1、单事件

$P(A_x|B)$$=\frac{P(A_{x}B)}{P(B)}=\frac{P(B|A_x)\times P(A_x)}{P(B)}=\frac{P(B|A_x)\times P(A_x)}{{\sum }_{i=0}^n[P(B|A_i)\ast P(A_i)]}$

$=\frac{A_x条件下B的似然度\times A_x的先验概率}{事件B的先验概率}$

$=\frac{A_x条件下B的似然度\times A_x的先验概率}{{\sum }_{i=0}^n(A_i条件下B的似然度\times A_i的先验概率)}$

$=\frac{A_x条件下B的似然度\times A_x的先验概率}{边际似然度}$

$=\frac{A_x条件下B的似然度\times A_x的先验概率}{标准化常量}$

$=标准似然度\times 先验概率$

• $P(A_x|B)$是已知事件$B$发生的情况下事件$A_x$发生的概率(条件概率)，也由于得自$B$的取值而被称为$A_x$的后验概率；
• $P(B|A_x)$是已知事件$A_x$发生的情况下事件$B$发生的概率，称为似然度/似然概率(likehood)；
• $A_1$, $A_2$, …, $A_i$, … , $A_x$, …, $A_j$, …, $A_n$为完备事件组，即${\bigcup }_{i=1}^n$=$\Omega$，$A_i{A}_j=\varphi$，$P(A_i)>0$；
• $P(A_x)$：先验概率，之所以称为"先验"是因为它为不需要考虑任何事件$B$方面的因素的情况下事件$A_x$发生的概率；
• $P(B)$：边际似然度，当给定$A_i$时，$A_i$能解释$B$的可能性，这就反应了事件$B$的似然性，将所有$A_i$条件下事件B分别发生的概率相加得到事件$B$的边际似然概率，它是一个标准化常量；
• $\frac{P(B|A_x)}{P(B)}$ 称为标准似然度；
• 后验概率 ∝ 似然度 × 先验概率
• 在贝叶斯概率理论中，如果后验概率 $P(A_x|B)$ 与 先验概率 $P(A_x)$ 满足同样的分布律，则 先验分布与后验分布被叫做“共轭分布”，同时，先验分布叫做似然函数的“共轭先验分布”。

2、联合事件

$P[A_x|(B_1,B_2,...B_i)]$ = P [ ( B 1 , B 2 , . . . B i ) ∣ A x ] × P ( A x ) ∑ i = 0 n { P [ ( B 1 , B 2 , . . . B i ) ∣ A i ] ∗ P ( A i ) } =\frac{P[(B_1, B_2, ...B_i)|A_x]×P(A_x)}{\sum_{i=0}^n\{P[(B_1, B_2, ...B_i)|A_i]*P(A_i)\}} =∑i=0n​{ P[(B1​,B2​,...Bi​)∣Ai​]∗P(Ai​)}P[(B1​,B2​,...Bi​)∣Ax​]×P(Ax​)​

$=\frac{A_x条件下(B_1,B_2,...B_i)的似然度\times A_x的先验概率}{事件(B_1,B_2,...B_i)的先验概率}$

$=\frac{A_x条件下(B_1,B_2,...B_i)的似然度\times A_x的先验概率}{{\sum }_{i=0}^n(A_i条件下(B_1,B_2,...B_i)的似然度\times A_i的先验概率)}$

$=\frac{A_x条件下(B_1,B_2,...B_i)的似然度\times A_x的先验概率}{边际似然度}$

$=\frac{A_x条件下(B_1,B_2,...B_i)的似然度\times A_x的先验概率}{标准化常量}$

$=标准似然度\times 先验概率$

事件$B_1,B_2,...B_i$之间有可能是独立的，也可能是相关的。

1. 如果$B_1,B_2,...B_i$之间相互独立，则

   $P[(B_1,B_2,...B_i)|A_x]=P(B_1|A_x)\times P(B_2|A_x)\times ...P(B_i|A_x)$

2. 如果$B_1,B_2,...B_i$之间相关，则

   $P[(B_1,B_2,...B_i)|A_x\ne P(B_1|A_x)\times P(B_2|A_x)\times ...P(B_i|A_x)$

二、应用场景

1、机器翻译

2、拼写纠错

3、语音识别

4、密码破解