本文已参与「新人创作礼」活动，一起开启掘金创作之路
贝叶斯
朴素贝叶斯的一般过程 (1) 收集数据：可以使用任何方法。本章使用RSS源。 (2) 准备数据：需要数值型或者布尔型数据。 (3) 分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好。 (4) 训练算法：计算不同的独立特征的条件概率。 (5) 测试算法：计算错误率。 (6) 使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴 素贝叶斯分类器，不一定非要是文本
就拿最简答的二分类来说明，贝叶斯分类是根据计算需要判断的参数分别属于不同类别的概率，哪个的概率大就属于哪一个分类。下面来看一个简单示例：
在学习朴素贝叶斯分类之前，需要有一些前驱课程的学习，比如概率论与数理统计，考虑到读者的水平层次不齐，这里再介绍一下条件概率的概念，后面的分类就是基于这个来进行的。
在了解了条件概率的概念后，我们来具体看一个语言分类的实例来加深理解，并进行实现和源码讲解。
语言分类问题
在我们的网络信息交流中有各式各样的用于，你是否有注意到当你发送一些不文明用于的时候，那些不文明用词会被屏蔽掉呢？一个识别的很好的方法就是通过朴素贝叶斯来进行识别。看上面的例子里，有留言、是否属于侮辱性留言的标签，可以看到，有garbage，stupid，dog的语句中被判断为了侮辱性留言。而我们应该怎么样进行分类呢？
(1) 收集数据：提供文本文件。 (2) 准备数据：将文本文件解析成词条向量。 (3) 分析数据：检查词条确保解析的正确性。 (4) 训练算法：使用我们之前建立的trainNB0()函数。 (5) 测试算法：使用classifyNB()，并且构建一个新的测试函数来计算文档集的错误率。 (6) 使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上。
代码实现
==词表到向量的转换函数==
def loadDataSet():
postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0, 1, 0, 1, 0, 1] #1 is abusive, 0 not
return postingList, classVec
导入数据集postingList，和标签classVec，其中1表示侮辱性的句子，0表示非侮辱性的。
def createVocabList(dataSet):
vocabSet = set([]) #create empty set
for document in dataSet:
vocabSet = vocabSet | set(document) #union of the two sets
return list(vocabSet)
采用集合的性质，将出现的所有词统一到向量vocabSet里面（并运算）
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else: print("the word: %s is not in my Vocabulary!" % word)
return returnVec
输入inputSet作为需要判断的词向量输入，生成长度为len(vocabList)的零向量returnVec，将inpustSet中出现的单词在returnVec里面置为1，否则输出该单词不再词典中！
接下来，我们根据下面的计算方法来实现训练函数 ==朴素贝叶斯分类器训练函数==
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory)/float(numTrainDocs)
p0Num = np.ones(numWords); p1Num = np.ones(numWords) #change to np.ones()
p0Denom = 2.0; p1Denom = 2.0 #change to 2.0
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = np.log(p1Num/p1Denom) #change to np.log()
p0Vect = np.log(p0Num/p0Denom) #change to np.log()
return p0Vect, p1Vect, pAbusive
输入为trainMatrix即需要判断的词矩阵，和trainVategory（指我们之前的classVec）。numTrainDocs等于文档的个数，numWords为词的个数；之后计算每个类表中的文档属于侮辱类别的概率，并将它赋值为pAbusive，初始化概率p0Num，p1Num，p0Denom，p1Denom。接下来通过for循环遍历所有文档，并分为侮辱情况和非侮辱情况进行讨论。最后计算出每个单词在总数中出现的概率并返回。
==朴素贝叶斯分类函数==
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify * p1Vec) + np.log(pClass1) #element-wise mult
p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
根据条件概率公式进行句子标签的决定，如果p1>p0，即侮辱性的概率大于非侮辱性的概率，我们把标签置为1，认为它是具有侮辱性的语言，反之亦然。
def testingNB():
listOPosts, listClasses = loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat = []
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
p0V, p1V, pAb = trainNB0(np.array(trainMat), np.array(listClasses))
testEntry = ['love', 'my', 'dalmation']
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
testEntry = ['stupid', 'garbage']
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
将我们将要进行判断的语句进行测试，下面是我们进行测试后结果的截图
代码和数据集笔者放在了这个链接里，需要的读者可以自行进行下载代码及数据集