在进行利用朴素贝叶斯模型进行文本分类之前，先介绍一下朴素贝叶斯原理！
需要搞清楚的概念：
1.贝叶斯模型是指模型参数的推断用的是贝叶斯估计方法，也就是需要指定先验分布，再求取后验分布。
2.贝叶斯分类是一类算法的总称，这类算法均以贝叶斯定理为基础，故统称贝叶斯分类。
我们称之为“朴素”，是因为整个形式化过程只做原始、简单的假设。
1.朴素贝叶斯定理：
条件贝叶斯公式：p(Ci | x,y)=p(x,y | Ci) * p(Ci) / p(x,y)
使用这些定义，可以定义贝叶斯分类准则为：
如果P(c1|x, y) > P(c2|x, y)，那么属于类别c1。
如果P(c1|x, y) < P(c2|x, y)，那么属于类别c2。
这些符号所代表的具体意义是： 给定某个由x、y表示的数据点，那么该数据点来自类别c1的概率是多少？数据点来自类别c2的概 率又是多少？
程序中在模型训练的时候，只需要先在训练样本中计算好先验概率 p(Ci) 和 条件概率 p(x,y | Ci) 即可，因为p(x,y)不随Ci变化，不影响p(Ci | x,y)的最好大小。
注：条件贝叶斯是保证条件之间独立的（文档分类中是假设一个词汇出现与其他词汇是否出现无关，然而同一主题的词汇一起出现的概率很高，存在关联），所以这个假设过于简单；尽管如此，然而事实表明，朴素贝叶斯的效果还很好。
2. 对先验概率、后验概率的理解
可以将贝叶斯公式换成这样：
其中P(A|B)是在B发生的情况下A发生的可能性。
在贝叶斯法则中，每个名词都有约定俗成的名称：
P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。
3.朴素贝叶斯优缺点：
优点：在数据较少的情况下仍然有效，可以处理多类别问题。
缺点：对于输入数据的准备方式较为敏感。
4.用Python进行文本分类
1 加载数据集，分两类。
# 该函数返回的第一个变量是进行词条切分后的文档集合
# 函数返回的第二个变量是一个类别标签的集合
import numpy as np
def loadDataSet():
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #1 is abusive, 0 not
return postingList, classVec
2 创建词汇表
# 集合结构内元素的唯一性，创建一个包含所有词汇的词表。
def createVocabList(dataSet):
vocabSet = set([]) # 建立一个空列表
for document in dataSet:
vocabSet = vocabSet | set(document) # 合并两个集合
return list(vocabSet)
3 创建一个和词汇表等长的向量
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else:
print("the word: %s is not in my Vocabulary!" % word)
return returnVec
我们对查定义的函数进行打印：
# 打印数据集
>>> listOPosts, listClasses = loadDataSet()
>>> print(listOPosts)
>>> print(listClasses)
[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
[0, 1, 0, 1, 0, 1]
# 打印词汇表
>>> myVocabList = createVocabList(listOPosts)
>>> print(len(myVocabList))
>>> print(myVocabList)
32
['food', 'not', 'please', 'garbage', 'my', 'take', 'stop', 'buying', 'mr', 'park', 'cute', 'love', 'licks', 'dog', 'is', 'has', 'posting', 'ate', 'him', 'stupid', 'I', 'help', 'dalmation', 'flea', 'steak', 'problems', 'so', 'worthless', 'to', 'quit', 'maybe', 'how']
# 生成词向量
>>> print(len(setOfWords2Vec(myVocabList, listOPosts[0])))
>>> print(setOfWords2Vec(myVocabList, listOPosts[0]))
32
[0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0]
4 训练模型：在训练样本中计算先验概率 p(Ci) 和 条件概率 p(x,y | Ci)，本实例有0和1两个类别，所以返回p(x,y | 0)，p(x,y | 1)和p(Ci)。
此处有两个改进的地方：
（1）若有的类别没有出现，其概率就是0，会十分影响分类器的性能。所以采取各类别默认1次累加，总类别（两类）次数2，这样不影响相对大小。
（2）若很小是数字相乘，则结果会更小，再四舍五入存在误差，而且会造成下溢出。采取取log，乘法变为加法，并且相对大小趋势不变。
# 进行训练， 这里就是计算： 条件概率 和 先验概率
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix) # 计算总的样本数量
# 计算样本向量化后的长度， 这里等于词典长度。
numWords = len(trainMatrix[0])
# 计算先验概率
pAbusive = sum(trainCategory) / float(numTrainDocs)
# 进行初始化， 用于向量化后的样本 累加， 为什么初始化1不是全0， 防止概率值为0.
p0Num = np.ones(numWords)
p1Num = np.ones(numWords) #change to ones()
# 初始化求条件概率的分母为2， 防止出现0，无法计算的情况。
p0Denom = 2.0
p1Denom = 2.0 #change to 2.0
# 遍历所有向量化后的样本， 并且每个向量化后的长度相等， 等于词典长度。
for i in range(numTrainDocs):
# 统计标签为1的样本： 向量化后的样本的累加， 样本中1总数的求和， 最后相除取log就是条件概率。
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
# 统计标签为0的样本： 向量化后的样本累加， 样本中1总数的求和， 最后相除取log就是条件概率。
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
# 求条件概率。
p1Vect = np.log(p1Num / p1Denom) # 改为 log() 防止出现0
p0Vect = np.log(p0Num / p0Denom)
# 返回条件概率 和 先验概率
return p0Vect, p1Vect, pAbusive
5 分类
# 通过条件概率 和 先验概率 对新的样本进行向量化后分类。哪个类别的概率大，则属于哪个类别
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
# 向量化后的样本 分别 与 各类别的条件概率相乘 加上先验概率取log，之后进行大小比较, 输出类别。
p1 = sum(vec2Classify * p1Vec) + np.log(pClass1) #element-wise mult
p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
6 测试程序
加载数据集+提炼词表；
训练模型：根据六条训练集计算先验概率和条件概率；
测试模型：对训练两条测试文本进行分类。
def testingNB():
# 生成训练样本 和 标签
listOPosts, listClasses = loadDataSet()
# 创建词典
myVocabList = createVocabList(listOPosts)
# 用于保存样本转向量之后的
trainMat=[]
# 遍历每一个样本， 转向量后， 保存到列表中。
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
# 计算 条件概率 和 先验概率
p0V, p1V, pAb = trainNB0(np.array(trainMat), np.array(listClasses))
# 给定测试样本 进行测试
testEntry = ['love', 'my', 'dalmation']
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry,'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
testEntry = ['stupid', 'garbage']
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry,'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
测试一下结果如何：
>>> testingNB()
['love', 'my', 'dalmation'] classified as: 0
['stupid', 'garbage'] classified as: 1
我们将每个词的出现与否作为一个特征，这可以被描述为词集模型（set-of-words model）。如果一个词在文档中出现不止一次，这可能意味着包含该词是否出现在文档中所不能表 达的某种信息，这种方法被称为词袋模型（bag-of-words model）。在词袋中，每个单词可以出现多次，而在词集中，每个词只能出现一次。为适应词袋模型，需要对函数setOfWords2Vec() 稍加修改，修改后的函数称为bagOfWords2Vec()。
# 通过所有样本， 创建词典列表； 用于后面的词转向量。
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
return returnVec
5 总结
朴素贝叶斯分类器通常有两种实现方式：
一种基于贝努利模型实现；
一种基于多项式模型实现。
这里采用前一种 实现方式。该实现方式中并不考虑词在文档中出现的次数，只考虑出不出现。
上面我处理的样本的属性值都是分类型的，然而数值型的朴素贝叶斯能处理吗？
1 朴素贝叶斯处理数值型数据的方法：
（1） 区间离散化，设阈值，分段。
（2） 高斯化：求出概率密度函数，假设变量服从正态分布，根据已有变量统计均值和方差，
得出概率密度函数，这样就解决了计算连续值作为分类的条件概率值。
2 除0问题：Laplace校准所有计算均加一，总类别数目加n；
3 下溢出：很小的值相乘，四舍五入误差采用log 乘法变相加；
4 移除停用词：也可以提高文本分类的性能
参考：
1、机器学习实战
2、朴素贝叶斯 https://blog.csdn.net/u014365862/article/details/79388289
3、https://www.cnblogs.com/rongyux/p/5602037.html