17 贝叶斯分类器
贝叶斯分类是一种分类算法的总称，这种算法均以贝叶斯定理为基础，故统称为贝叶斯分类。贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
17.1 贝叶斯定理
条件概率：事件A在另一个事件B已经发生条件下的概率，记作 P(A|B)，A和B 可能是相互独立的两个事件，也可能不是。
表示 A，B 事件同时发生的概率，如果 A 和 B 是相互独立的两个事件，那么：
上面的推导过程反过来证明了如果A和B是相互独立的事件，那么事件A发生的概率与B无关。
将条件概率公式稍做改变有：
先验条件B有多种可能性，这里引入全概率公式：
表示事件B的互补事件，从集合的角度来说是B的补集：
在条件概率和全概率的基础上，推导出贝叶斯公式：
贝叶斯定理：
设试验E的样本空间为S，B为E的事件，
为样本空间S的一个划分，且P(B)>0，P(
)>=0(i=1,2,…n)，则有：
17.2 朴素贝叶斯分类器
假设有一个数据集，每一条由特征和它的类别构成，特征用
来表示，类别由Y表示，具体的类型为
。对于一条新的数据，假如只知道它的特征，根据它的特征来分类到具体的
，这时就可以用贝叶斯算法。即：
根据贝叶斯定理：
而朴素贝叶斯算法的朴素之处在于：假设所有用于分类的特征都是相互独立的。可以推出如下公式：
综上所述，朴素贝叶斯分类器可以表示为：
由于对于所有的
,k=1,2…K，上式的分母都相同（均为
），因此上式可以写作：
17.3 朴素贝叶斯算法
17.4 极大似然估计
在朴素贝叶斯算法中通常采用极大似然估计先验概率
和条件概率
。
极大似然估计的原理，用一张图片来说明，如下图所示：
总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
（其中，
为第j个特征
可能的取值。）
