第 4 章 朴素贝叶斯法

朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集：

• 首先基于特征条件独立假设学习输入 / 输出的联合概率分布：
• 然后基于此模型，对给定的输入 x ，利用贝叶斯定理求出后验概率最大的输出 y 。

朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。

4.1 朴素贝叶斯法的学习与分类

4.3.1 ：基本方法

条件概率分布 p(X = x | Y = c_k ) 有指数级数量的参数， （因为一个 Y 可能对应 n 个 自变量 x 的 n^m 中组合， m 表示 x_i 可取的特征值）其估计实际上是不可行的，事实上，假设 x^(j) 可取值有 S_j 个，j = 1, 2, …… , n Y 可取值有 K 个， 那么参数个数为

朴素贝叶斯法对条件概率分布作了条件独立性的假设，由于这是一个较强的假设， 朴素贝叶斯法也由此得名，具体地， 条件独立性假设是：

大名鼎鼎， 赫赫有名

朴素贝叶斯实际上学习到生成数据的机制，所以属于生成模型，条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的（ x 变量之间的取值没有关系）， 这一假设使朴素贝叶斯法变得简单（这是当然的，因为很多时候 x 变量之间是存在关系的，它们之间的取值是有联系的，即不独立）。

朴素贝叶斯法分类时，对给定的输入 x ，通过学习到的模型计算后验概率分布 P(Y = c_k | X =x) , 将后验概率最大的类作为 x 的类输出， 后验概率计算根据贝叶斯定律进行。

将式（4.3）代入式（4.4） 有

这是朴素贝叶斯法分类的基本公式，于是，朴素贝叶斯分类可表示为：

注意到， 在式i（4.6) 中分母对所有 c_K 都是相同的， 所以

4.1.2 后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化， 假设选择 0-1 损失函数；

式中 f(X) 是分类决策函数， 这时，期望风险函数为：

期望是对联合分布 P(X,Y) 取的，由此条件期望

为了使期望风险最小化，只需对 X =x 逐个极小化， 由此得到：

这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：

即朴素贝叶斯所采用的原理。

4.2 朴素贝叶斯法的参数估计

4.2.1 极大似然估计

在朴素贝叶斯法中， 学习意味着估计P(Y = c_k) 和 P(X^(j) = x^(j) | Y = c_k ) 。

可以应用极大似然估计法估计相应的概率， 先验概率 P(Y = c_k ) 的极大似然估计是：

设第 j 个特征 x ^(j) 可能取值的集合为 {a_j1, a_j2, …， a_jSj }, 条件概率 P(X^(j) = a_jl | Y = c_k)的极大似然估计是

4.2.2 学习与分类算法

算法 4.1（朴素贝叶斯算法（naive Bayes algorithm））

输入：训练数据 T = {(x1, y1),(x2, y2),…（xN,yN)} , 其中

x_i = （x_i⁽¹⁾, x_i⁽²⁾, …， x_i⁽ⁿ⁾)^T， x_i^(j) 是第 i 个样本的第 j 个特征， x_i^(j) ∈ {a_j1, a_j2, …，a_jS} , a_ij 是第 j 个特征可能取的第 l 个值。 y_I ∈ {c1,c2, … ， ck}。

输出： 实例 x 的分类
（1）计算先验概率及条件概率

因为每个训练数据它的特征是一致的， 它的 y 是已知的，所以上述二者都可以求出来。

（2）对于给定的实例 x，计算
（3） 确定实例 x 的类

通过实例来理解：

解： 根据算法 4.1 ，由表 4.1 ，容易计算下列概率：

对于给定的 x = (2, S )^T ，计算：

4.2.3 贝叶斯估计

用极大似然法估计可能会出现所要估计的概率值为 0 的情况， 这时会影响到后延概率的计算结果， 使分类产生偏差， 解决这一问题的方法是采用贝叶斯估计，具体的，条件概率的贝叶斯估计是：

式中 λ >= 0 ，等价于在随机变量各个取值的频数上赋予一个整数 λ > 0 ，当 λ = 0 时就是极大似然估计， 常取 λ = 1, 这时称为拉普拉斯平滑（Laplace smoothing）,显然，对任何 l = 1,2,… S_j , k = 1,2,…， K ，有

表明式（4.10）确为一种概率分布， 同样，先验概率的贝叶斯估计是：