【任务5 -传统机器学习–朴素贝叶斯 】
1. 朴素贝叶斯
- 贝叶斯：贝叶斯定理旨在计算P(A|B)的值，也就是在已知B发生的条件下，A发生的概率是多少。大多数情况下，B是被观察事件，比如“昨天下雨了”，A为预测结果“今天会下雨”。对数据挖掘来说，B通常是观察样本个体，A为被预测个体所属类别。所以，说简单一点，贝叶斯就是计算的是：B是A类别的概率。
贝叶斯公式：
举例，我们想计算含有单词drugs的邮件为垃圾邮件的概率。
在这里，A为“这是封垃圾邮件”。我们先来计算P(A)，它也被称为先验概率，计算方法是，统计训练中的垃圾邮件的比例，如果我们的数据集每100封邮件有30封垃圾邮件，P(A)为30/100=0.3。
B表示“该封邮件含有单词drugs”。类似地，我们可以通过计算数据集中含有单词drugs的邮件数P(B)。如果每100封邮件有10封包含有drugs，那么P(B)就为10/100=0.1。
P(B|A)指的是垃圾邮件中含有的单词drugs的概率，计算起来也很容易，如果30封邮件中有6封含有drugs，那么P(B|A)的概率为6/30=0.2。
现在，就可以根据贝叶斯定理计算出P(A|B)，得到含有drugs的邮件为垃圾邮件的概率。把上面的每一项带入前面的贝叶斯公式，得到结果为0.6。这表明如果邮件中含有drugs这个词，那么该邮件为垃圾邮件的概率为60%。
- 它能计算个体从属于给定类别的概率。因此，他能用来分类。
我们用C表示某种类别，用D代表数据集中的一篇文档，来计算贝叶斯公式所要用到的各种统计量，对于不好计算的，做出朴素假设，简化计算。
P©为某一类别的概率，可以从训练集中计算得到。
P(D)为某一文档的概率，它牵扯到很多特征，计算很难，但是，可以这样理解，当在计算文档属于哪一类别时，对于所有类别来说，每一篇文档都是独立重复事件，P(D)相同，因此根本不用计算它。稍后看怎样处理它。
P(D|C)为文档D属于C类的概率，由于D包含很多特征，计算起来很难，这时朴素贝叶斯就派上用场了，我们朴素地假定各个特征是互相独立的，分别计算每个特征（D1、D2、D3等）在给定类别的概率，再求他们的积。
相反，如果我们不做朴素的假设，就要计算每个类别不同特征之间的相关性。这些计算很难完成，如果没有大量的数据或足够的语言分析模型是不可能完成的。
到这里，算法就很明确了。对于每个类别，我们都要计算P(C|D)，忽略P(D)项。概率较高的那个类别即为分类结果
在实际情况中也会遇上非离散属性而是连续属性的情况，这时就该用概率密度函数来计算条件概率P(x|c)。μ(c,i)和 σ(c,i)^2分别是第c类样本在第i个属性上取值的均值和方差。则有：
同时，对于朴素贝叶斯还需要说明的一点是：若某种属性值在训练集中没有与某个类同时出现过，则直接基于概率估计公式得出来概率为0，再通过各个属性概率连乘式计算出的概率也为0，这就导致没有办法进行分类了，所以，为了避免属性携带的信息被训练集未出现的属性值“抹去”，在估计概率值时通常要进行“平滑”，常用“拉普拉斯修正”，具体来讲，令N表示训练集D中可能的类别数，Ni表示第i个属性可能的取值数。
2. 朴素贝叶斯优缺点
- Naive Bayes learners and classifiers can be extremely fast compared to more sophisticated methods. The decoupling of the class conditional feature distributions means that each distribution can be independently estimated as a one dimensional distribution. This in turn helps to alleviate problems stemming from the curse of dimensionality.
- On the flip side, although naive Bayes is known as a decent classifier, it is known to be a bad estimator, so the probability outputs from predict_proba are not to be taken too seriously.
3. 朴素贝叶斯 sklearn 参数学习
4. 利用朴素贝叶斯模型结合 Tf-idf 算法进行文本分类
参考资料 :
sklearn：朴素贝叶斯（naïve beyes） - 专注计算机体系结构 - CSDN博客
浅谈朴素贝叶斯算法原理