【机器学习之 朴素贝叶斯】6.3 朴素贝叶斯估计

6.3 朴素贝叶斯估计

6.3 朴素贝叶斯估计

• 基于第一章 的贝叶斯准则，将条件风险转化为了先验概率和似然。
• 又基于第二章 极大似然估计获得了通过优化似然函数得到极大似然估计的方法。
• 采用“属性条件独立性假设”：假设每个属性独立地对分类结果发生影响。

6.3.1 原理

朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

基于贝叶斯公式来估计后验概率$P(c|x)$的主要困难在于：类条件概率$P(x|c)$是所有属性上的联合概率，难以从有限的训练样本直接估计而得。

(基于有限训练样本直接估计联合概率，在计算上斗争会遭遇纽合爆炸问题，在数据上将会遭遇样本稀疏问题，属性数越多，问题越严重.）

为避开这个障碍，朴素贝叶斯分类器（naÏve Bayes classifier）采用了"属性条件独立性假设" (attribute conditional independence assumption): 对已知类别，假设所有属性相互独立.换言之，假设每个属性独立地对分类结果发生影响.

基于属性条件独立性假设。根据式子$P(c|x)=\frac{P(c)P(x|c)}{p(x)}=\frac{P(c)P(x|c)}{\sum P(c)P(x|c)}$可以重写为

$$P(c|x)=\frac{P(c)P(x|c)}{p(x)}=\frac{P(c)}{P(x)}\prod _{i=1}^{d}P(x_i|c)$$

其中$d$为属性数目， $x_i$为$x$在第$i$个属性上的取值。

由于对所有类别来说$P(x)$相同，因此基于式$h^{\ast }(x)=argma{x}_{c\in Y}P(c|x)$的贝叶斯判定准则有

$h_{nb}(x)=argma{x}_{c\in Y}P(c){\prod }_{i=1}^{d}P(x_i|c)$

这就是朴素贝叶斯分类器的表达式。

朴素贝叶斯的训练过程就是基于训练集D来估计类先验概率P©，并为每个属性估计条件概率$P(x_i|c)$。

离散属性

对离散属性而言，令$D_{c,x_i}$表示$D_c$中在第$i$个属性上取值为$x_i$的样本组成的集合，则条件概率$P(x_i|c)$可估计为
$$P(x_i|c)=\frac{D_{c,x_i}}{Dc}$$

连续属性

对连续属性可考虑概率密度函数，假定$p(x_i|c)\sim N({\mu }_{c,i},{\sigma }_{c,i}^2)$,其中${\mu }_{c,i}$和${\sigma }_{c,i}^2$，分别是第$c$类样本在第$i$个属性上取值的均值和方差，则有
$$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$$

下面是别人的PPT,写的比较好。截图了下面

为了避免其他属性携带的信息被训练集中未出现的属性值"抹去’，在估计概率值时通常要进行"平滑" (smoothing) ，常用"拉普拉斯修正" (Laplacian correction）。拉普拉斯修正实质上假设了属性值与类别均匀分布。

6.3.2 具体流程

首先看数据集。

然后我们对一个测试集进行分类

编号	色泽	根蒂	敲声	纹理	脐部	触感	密度	含糖率	好瓜
测试1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	0.697	0.460	？

$x$是所有样本，$x_i$是每个属性，$c$是好瓜

首先我们计算出先验概率$P(c)$，显然有

$P($好瓜=是$)=\frac{8}{17}\approx 0.471$

$P($好瓜=否$)=\frac{9}{17}\approx 0.529$

对每个属性估计条件概率$P(x_i|c)$

下面是离散值

$P_{青绿|是}=P(色泽=青绿|好瓜=是)=\frac{3}{8}=0.375$

$P_{青绿|否}=P(色泽=青绿|好瓜=否)=\frac{3}{9}\approx 0.333$

$P_{蜷缩|是}=P(根蒂=蜷缩|好瓜=是)=\frac{5}{8}=0.625$

$P_{蜷缩|否}=P(根蒂=蜷缩|好瓜=否)=\frac{3}{9}\approx 0.333$

$P_{浊响|是}=P(敲声=浊响|好瓜=是)=\frac{3}{8}\approx 0.375$

$P_{浊响|否}=P(敲声|好瓜=否)=\frac{4}{9}\approx 0.444$

$P_{清晰|是}=P(纹理=清晰|好瓜=是)=\frac{7}{8}=0.375$

$P_{清晰|否}=P(纹理=清晰|好瓜=否)=\frac{2}{9}\approx 0.222$

$P_{凹陷|是}=P(脐部=凹陷|好瓜=是)=\frac{5}{8}=0.625$

$P_{凹陷|否}=P(脐部=凹陷|好瓜=否)=\frac{2}{9}\approx 0.222$

$P_{硬滑|是}=P(触感=硬滑|好瓜=是)=\frac{6}{8}=0.75$

$P_{硬滑|否}=P(触感=硬滑|好瓜=否)=\frac{6}{9}\approx 0.667$

下面是连续值

$p_{密度:0.697|是}=p(密度=0.697|好瓜=是)=\frac{1}{\sqrt{2\pi }\times 0.129}{e}^{-\frac{(0.697-0.574{)}^2}{2\times 0.129^2}}\approx 1.959$

$p_{密度:0.697|否}=p(密度=0.697|好瓜=否)=\frac{1}{\sqrt{2\pi }\times 0.195}{e}^{-\frac{(0.697-0.496{)}^2}{2\times 0.195^2}}\approx 1.203$

$p_{含糖:0.460|是}=p(含糖=0.460|好瓜=是)=\frac{1}{\sqrt{2\pi }\times 0.101}{e}^{-\frac{(0.460-0.279{)}^2}{2\times 0.101^2}}\approx 0.788$

$p_{含糖:0.460|否}=p(含糖=0.460|好瓜=是)=\frac{1}{\sqrt{2\pi }\times 0.108}{e}^{-\frac{(0.460-0.154{)}^2}{2\times 0.108^2}}\approx 0.066$

于是，好瓜

$$\begin{gathered} P(好瓜=是)\times P_{青绿|是}\times P_{蜷缩|是}\times P_{浊响|是}\times P_{清晰|是}\times P_{凹陷|是}\times P_{硬滑|是}\times P_{密度：0.697|是}\times P_{含糖：0.460|是}\approx 0.052 \\ P(好瓜=否)\times P_{青绿|否}\times P_{蜷缩|否}\times P_{浊响|否}\times P_{清晰|否}\times P_{凹陷|否}\times P_{硬滑|否}\times P_{密度：0.697|否}\times P_{含糖：0.460|否}\approx 6.80\times 10^{-5} \end{gathered}$$
由于$0.052>6.8\times 10^{-5}$.我们判断测试1位好瓜

6.3.3 拉普拉斯修正

对于此数据集，对"敲声=清脆”的测试用例。

$P_{清脆|是}=P(敲声=清脆|好瓜=是)=\frac{0}{8}=0$

由于连乘的公式概率值为0，不管其他分类结果如何。结果都是否。不符合常理

所以为了避免其他属性携带的信息被训练集中未出现的属性值"抹去"。常用拉普拉斯修正

令N表示训练集D中可能的类别，$N_i$表示第i个属性可能的取值数。

$\hat{P}(c)=\frac{|D_c|+1}{|D|+N}$

$\hat{P}(x_i|c)=\frac{D_{c,x_i}+1}{|D_c|+N_i}$

所以其中类先验概率

$\hat{P}(好瓜=是)=\frac{8+1}{17+2}\approx 0.474,N=2$,因为类别就两种，好瓜和坏瓜。类别为2

$\hat{P}(清脆|是)=\hat{P}(敲声=清脆|好瓜=是)=\frac{0+1}{8+3}$，因为可以取值为清脆，浊响，沉闷。取值数为3

参考资料

https://zhuanlan.zhihu.com/p/26262151
https://blog.csdn.net/weixin_39762441/article/details/111159764