浅谈机器学习—朴素贝叶斯法

一、简介
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。

二、基本方法
X是定义在输入空间上的随机变量，Y是定义在输出空间上的随机变量，P(X,Y)是X和Y的联合概率分布。训练数据集

$$T=[(x_1,y_1),(x_2,y_2),...(x_N,y_N)]$$ 由P(X,Y)独立同分布产生。
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地，学习以下先验概率分布及条件概率分布。先验概率分布 $$P(Y=c_k),k=1,2,...K$$ 条件概率分布 $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...X^{(n)}=x^{(n)}|Y=c_k)$$ 于是学习到联合概率分布P(X,Y)。
朴素贝叶斯法对条件概率分布作了条件独立性的假设。具体的假设是 $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...X^{(n)}=x^{(n)}|Y=c_k)$$ $$=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$ 朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型，条件独立性的假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布 $P(Y=c_k|X=x)$，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行： $$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$$ 于是，通过化简可以得到朴素贝叶斯分类器： $$y=arg\ \max_{c_k}P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)$$

三、朴素贝叶斯法的参数估计
1、极大似然估计
先验概率的极大似然估计是：

$$P(Y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)}{N},k=1,2,...,K$$ 设第j个特征 $x^{(j)}$可能取值的集合为{ $a_{j1},a_{j2},...,a_{jS_j}$}，条件概率的极大似然估计是： $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^NI(y_i=c_k)}$$ $$j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K$$ 式中， $x_i^{(j)}$是第i个样本的第j个特征； $a_{jl}$是第j个特征可能取的第l个值；I为指示函数。
2、贝叶斯估计
用极大似然估计可能会产生要估计的概率值为0的情况，这会影响到先验概率的计算，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计，具体地，先验概率的贝叶斯估计是： $$P_\lambda(Y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)+\lambda}{N+K\lambda}$$ 条件概率的贝叶斯估计是：
$$P_\lambda(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda}{\sum_{i=1}^NI(y_i=c_k)+S_j\lambda}$$ $$j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K$$