最近好几天都没有更新博客，因为网络设置崩了，然后各种扎心，最后还重装电脑，而且还有一些软件需要重新安装或者配置，所以烦了好久，搞好电脑之后，老师又布置了一个任务，个人觉得很有趣--判别学校新闻是否是标题党
虽然我不觉得老师的方法能够很好地判别标题党行为，但是也只能开干了！
第一步：通过爬虫获取学校新闻，这一部分已经在之前的文章中写过，所以不在重复了，有点不同的是，因为从文本中提取内容列会出错，有少数文章的内容没有被全部提取，所以我在源代码的基础上改变了一下，生成了一个只存放内容的文件content.csv
第二步：（1）对文档内容进行分词，并且按照文档数分别存放在不同的文档，例如3454篇新闻就用3454份文档来存放分词后的内容，但是是可以直接用一个文档来存放的，每篇文章只在文档中占一行就行，分词用结巴，不要用全模式，否则后面选择的关键词会有很多相同，另外下载百度停用词表，在停用词表中的词语就不要写入文件中，因为不能成为关键词，如是、的、好
（2）使用TF-IDF算法进行关键词提取，首先套一个循环，循环3454个文档，然后按行读取，之后各种烧脑。举个例子：在文档A中，有100个分词后的词语，通过集合去掉重复的之后还剩下80个，把这80个加到字典中，并且要计算这80个词语在文档A中各自出现的次数；然后轮到文档B，首先判断文档B中的分词词语有哪些在字典中，在字典中的话就不加进字典，但是值VALUES加1，否则加入字典。这个太难说清楚了，还是自己去看看详细介绍吧！
（3）根据TF-IDF算法得到每篇新闻权值前三的词语，并且写入文件中
第三步：（1）训练相似度模型：这是个很陌生的知识，但是用了工具就很简单了，原理就是存储许多词语，把他们分为向量，就像网络一样连在一起，把距离的远近作为词语之间的相似度，缺点就在于无法识别不在模型中的词语相似度。可以去看看这两个链接，非常详细：https://blog.csdn.net/kaoyala/article/details/79090156；https://github.com/jsksxs360/Word2Vec
（2）把模型训练好了之后就简单了，把标题从新闻中提取出来，然后进行全模式分词，对于第一个关键词，与分词后的标题逐个计算相似度，取最大相似度，然后再到第二个关键词，最后把结果写入文件中
下面附上源码：
import jieba
import math
import re
def word():
#第一步：文档预处理：读取文档 -> 删除不需要的字符（如回车符\n、制表符\t、空格等）
# -> 转换成unicode格式 -> 对文档分词 -> 转换成utf-8格式写入txt文档
#读取文档
#由于使用TF-IDF方法提取关键词，而且需要分析题目相似度，所以每篇文章生成一个文档！
with open('content.csv', 'r', newline='', encoding='utf-8')as col:
j = 1
for i in col.readlines():
content=jieba.cut(i,cut_all=False) #结巴分词精确模式
result=" ".join(content) #把generator转换为字符串类型
result=re.compile('[\u4e00-\u9fa5]+').findall(result)
# 转换为列表并且去掉了那些数字3,4英文之类的
list1=[] #存储去掉空格之后的列表
#导入停用词表，并进行简单清洗
list111 = [] #存储停用词表
with open('baidustop.txt', 'r', encoding='utf-8')as f:
for i in f.readlines():
i = i.strip() #去掉换行符
list111.append(i)
for i in result:
if len(i)<=1 : #如果是空格或者单个字就去掉不要
continue
elif i in list111: #如果在停用词表里面就不要
continue
else:
list1.append(i)
# 把分词结果写入TXT文档中
with open('txt/TF-IDF'+str(j)+'.txt','a',encoding='utf-8')as file:
for word in list1:
file.write(word+'\n')
j+=1 #为了文档名字
def language():
#第二步：使用TF-IDF算法进行关键词提取
dict2={} #存放语料库，统计一个单词在多少个文件中存在
for i in range(1,3455):
with open('txt/TF-IDF' + str(i) + '.txt', 'r', encoding='utf-8')as file:
list2=[]
for wd in file.readlines(): #按行读取
wd=wd.replace('\n','') #去掉换行符
list2.append(wd)
#制作语料库字典，为了求解IDF
set1=set(list2) #转换为集合！
for word in set1:
dict2[word]=dict2.get(word,0)+1 #一个文档中每个单词最多只能增加1 ！
with open('language.txt','a',encoding='utf-8')as f:
for j,k in zip(dict2.keys(),dict2.values()):
f.write(j+':')
f.write(str(k))
f.write('\n')
def TfIdf():
dict3={} #存放语料库中的键值对，生成该字典是为了进行索引
for line in open('language.txt','r+',encoding='utf-8'):
(key, value) = line.strip('\n').split(':') #换行符是用strip去除的，然后通过区分冒号来区分键值
dict3[key] = str(value) #把对应的键值对存放进dict3字典中
# 根据dict3求解IDF
for q in dict3.keys():
dict3[q] = math.log(3455 / (int(dict3[q]) + 1), 10) # 10是底
for j in range(1,3455): #所有文档各自遍历一遍
count = {} #存放每次文档的单词和次数
sumdict={} #用来存放TF-IDF算法后的结果
with open('txt/TF-IDF' + str(j) + '.txt', 'r', encoding='utf-8')as file:
for wd in file.readlines(): #按行读取
# 求解单词频率，为了TF
wd=wd.replace('\n','') #去掉换行符
count[wd]=count.get(wd,0)+1 #统计在本文档中该单词出现的次数
for k in count.keys():
sumdict[k] = count[k] / sum(count.values()) # TF表示词条在文档中出现的频率
sumdict[k]=sumdict[k]*dict3[k] #此处用sumdict存放TF-IDF值
data=[] #存储三个最大值
with open('TF-IDF.txt', 'a', encoding='utf-8')as f:
for i in range(3):
data.append(max(sumdict,key=sumdict.get)) #根据字典的值查找最大值
f.write(max(sumdict,key=sumdict.get)) #写入文件中
f.write(' ') #用逗号来分割三个关键字
sumdict.pop(max(sumdict,key=sumdict.get)) #删除最大值
f.write('\n')
if __name__=='__main__':
word()
language()
TfIdf()
from gensim.corpora import WikiCorpus
import jieba
import codecs
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence
import multiprocessing
'''
读取中文wiki语料库，并解析提取xml中的内容
'''
#将下载的语料转为文本txt格式
def dataprocess():
space = " "
i = 0
output = open('E:\wiki\chinawiki-articles.txt', 'w', encoding='utf-8')
wiki = WikiCorpus('E:\wiki\zhwiki-latest-pages-articles.xml.bz2', lemmatize=False, dictionary={})
for text in wiki.get_texts():
output.write(space.join(text) + "\n") #分割一个词之后换行
i = i + 1
if (i % 10000 == 0): #每一万文章就提示一下
print('Saved ' + str(i) + ' articles')
output.close()
print('Finished Saved ' + str(i) + ' articles')
'''
加载停用词表
'''
def createstoplist(stoppath):
print('load stopwords...')
stoplist = [line.strip() for line in codecs.open(stoppath, 'r', encoding='utf-8').readlines()]
#fromkeys用于创建一个新字典，以序列seq中元素做字典的键，value为字典所有键对应的初始值
stopwords = {}.fromkeys(stoplist) #值默认为None
return stopwords
'''
过滤英文
'''
def isAlpha(word):
try: #isalpha() 方法检测字符串是否只由字母组成。
return word.encode('ascii').isalpha()
except UnicodeEncodeError:
return False
def trans_seg():
stopwords = createstoplist(r'E:\wiki\baidustop.txt')
i = 0
with codecs.open('E:\wiki\seg\chinawiki-segment40.txt', 'w', 'utf-8') as wopen:
print('开始...')
with codecs.open('E:\wiki\zhUTF8\chinawiki-articles-jian.txt', 'r', 'utf-8') as ropen:
for line in ropen.readlines():
line = line.strip() #去掉空格
i += 1
print('line ' + str(i)) #第几行
text = ''
for char in line.split(): #对每行进行列表分割
if isAlpha(char): #如果是英文就不要
continue
text += char #空格加词语
# print(text)
words = jieba.cut(text) #默认模式分词
seg = ''
for word in words:
if word not in stopwords: #如果在停用词表就不用这个词
if len(word) > 1 and isAlpha(word) == False: # 去掉长度小于1的词和英文
if word != '\t': #空格
seg += word + ' '
wopen.write(seg + '\n')
print('结束!')
'''
利用gensim中的word2vec训练词向量
'''
def word2vec():
print('Start...')
rawdata='E:\wiki\seg\chinawiki-segment40.txt'
modelpath='E:\wiki\model\chinawikimodel.model'
#vectorpath='E:\word2vec\vector'
model=Word2Vec(LineSentence(rawdata),size=400,window=5,min_count=5,workers=multiprocessing.cpu_count())#参数说明，gensim函数库的Word2Vec的参数说明
model.save(modelpath)
#model.wv.save_word2vec_format(vectorpath,binary=False)
print("Finished!")
if __name__=='__main__':
# dataprocess()
# trans_seg()
# word2vec()
model= Word2Vec.load('E:\wiki\model\chinawikimodel.model')
# print(model.most_similar('开心',topn=5))
try:
pro=model.similarity('开心', '不存在')
except:
pro=0
print(pro)
'''
计算关键词与题目相似度的流程：加载题目文件与关键词文件--》把题目进行分词--》把分词后的结果保存
--》把关键词与分词题目词语逐一比较相似度取最大值--》每篇文章得到三个相似度（三个关键词）
前期准备：jieba分词、wiki中文语料、word2vec模型训练、词向量比较相似度
标题文档：fosu1中提取，关键词文档：TF-IDF.txt中提取，皆是3454行
'''
import csv
import jieba
from gensim.models import Word2Vec
import re
#加载词语模型，用来输出词语相似度
model= Word2Vec.load('E:\wiki\model\chinawikimodel.model')
list1=[] #存储分词后的标题
list2=[] #存储关键词
list3=[] #存储相似度
#用with同时打开两个文件
with open('fosu1.csv','r',newline='',encoding='utf-8')as file1,open('TF-IDF.txt','r',encoding='utf-8')as file2:
read1 = csv.reader(file1) # 读取文件
title = [row[0] for row in read1] # 获取标题
for i in title:
i = jieba.cut(i, cut_all=False) #全模式识别名字的效果很差
#虽然使用精确模式有所改变，但是很多名字都不在模型中，所以没法识别，返回错误
tit = "，".join(i)
tit=re.compile('[\u4e00-\u9fa5]+').findall(tit) #只取中文
list1.append(tit)
for j in file2.readlines():
j=j.strip()
j=j.split(' ')
list2.append(j) #关键词
file3=open('similarity.txt','a',encoding='utf-8')
n=0 #第几个标题
for p,q in zip(list1,list2):
word=" ".join(q)
file3.write(title[n] + ':')
file3.write(word+'|')
for w in range(3):
pro=[] #暂时存储一个关键词与其他标题分词的相似度
for i in p:
try: #关键词与他们逐一比较相似度
pro.append(model.similarity(i,q[w]))
except: #有些词语不在模型词典中，会报错
if i==q[w]: #如果词语不在模型中，但是标题中有相同的词语，那么就把相似度设为1.0
pro.append(1.0)
else: #否则为0.0
pro.append(0.0)
pro=float('%.2f'%max(pro)) #取相似度最大的为关键词与标题的相似度
file3.write(str(pro)+' ')
file3.write('\n')
n+=1 #标题+1