1 贝叶斯公式
如下图所示，已知A、B两个事件的交事件：
由P(A∪B)=P(B|A)P(A)=P(A|B)P(B)得:
P(B|A) = P(A|B)P(B)/P(A)
在机器学习中我们通常写为：
P(h|D）=P(D|h)P(h)/P(D)
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识。
机器学习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。
2 如何理解贝叶斯公式
如上图所示，设A圆的面积位P(A),B圆的面积为P(B),图中阴影部分的面积可表示为P(B|A)，可理解为阴影部分占A圆的比例，同理P(A|B)可理解为，阴影部分占B圆的比例。于是有阴影部分的面积为P(A|B)P(B)=P(B|A)P(A)，即:
P(B|A)=P(A|B)P(B)/P(A)
3 全概率公式
假设上图中A,B为离散的事件群，已知：
同理事件群A也将有上述性质，利用贝叶斯公式将有全概率公式：
于是贝叶斯公式可更改为：
4 贝叶斯决策论
设有N 种可能的类别标记，即Y=c1,c2,...,cN，则基于后验概率P(ci|x)可获得将样本x分类为ci所产生的期望损失（也称条件风险）为：
其中λij是将一个真实标记为cj标记成为ci产生的损失.
什么是期望损失（条件风险）？
可理解为损失的平均值。
5 极大似然估计
极大似然估计源自频率主义学派，即虽然参数未知，但却是客观存在的固定值，因此可以通过优化参数来确定参数值。
6 朴素贝叶斯分类器
7 如何理解贝叶斯分类器
综上所述，贝叶斯分类器，根据数据样本，算出类条件概率P(x|c)、先验概率P（c)，再根据条件概率算出联合概率，比较联合概率的大小，进行分类。
而半朴素贝叶斯分类器，根据样本计算出任意两个属性之间的条件互相信息，再算出联合概率，根据联合概率的大小，从而进行分类。
8 贝叶斯网
贝叶斯网，也称信念网，它借助有向无环图（DAG)来刻画两属性间的依赖关系，并用条件概率表来描述属性联合概率分布。