【数学基础】概率统计

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_35390390/article/details/74199437

1 条件概率

A,B是两个事件，p(A)为事件A发生的概率，p(B)为事件B发生的概率，p(AB)为事件AB同时发生的概率，p(A|B)为事件A在事件B已经发生的情况下发生的概率

1) p(A|B) = p(AB) / p(B) ; 条件概率 等于 联合概率 除以 先决条件的边缘概率

2) p(AB)  = p(B) * p(A|B); 以此递推，有以下结论：p(A1A2A3...An) = p(A1) * p(A2|A1) * p(A3|A1A2) *...* p(An|A1A2A3...An-1)

3) 全概率公式：

假设B1,B2,..Bn是一组独立事件，并且 B1UB2U...UBn 等于整个样本空间，则该事件组是样本空间的一个完备事件组，也成为一个划分

此时，p(A) = p(B1) * p(A|B1) + p(B2) * p(A|B2) + ... + p(Bn) * p(A|Bn); 即

4) 贝叶斯公式:

由以上三个公式可知：

p(Bi|A) = p(ABi) / p(A)  = p(Bi) * p(A|Bi) / p(B1) * p(A|B1) + p(B2) * p(A|B2) + ... + p(Bn) * p(A|Bn)

2 马尔科夫假设

由以上可知，多个事件同时发生的概率计算如下：

p(A1A2A3...An) = p(A1) * p(A2|A1) * p(A3|A1A2) *...* p(An|A1A2A3...An-1)

这个公式对于实际计算时计算量太大。为了简化计算，可以假设每个事件发生之和前一个事件相关，和更早的事件无关，则此时

p(A1A2A3...An) = p(A1) * p(A2|A1) * p(A3|A2) *...* p(An|An-1)

这种假设就是马尔科夫假设。这个公式在统计语言模型中对应于二元模型

三元模型即每个事件和之前第一个和第二个事件相关，和更早的事件无关：

p(A1A2A3...An) = p(A1) * p(A2|A1) * p(A3|A1A2) *...* p(An|An-2An-1)

显然，三元模型的准确率比二元模型更高，但是计算量也更大，一般工程上经常使用三元和四元模型