python爬虫（二）：爬取B站《夏洛特烦恼》字幕，词云展示

前面说过爬虫无非是文本、图片、音频，难度依次上升，虽然爬取数据的步骤是固定的，但是细节上的处理逻辑可能不同，比如html的解析方式、反爬取的手段、分布式爬取等，本文介绍最简单文本的爬虫方式，结合数据分析和可视化能力，争取能够做到一站式数据爬取、分析、可视化，奥利给。

 B站视频的特点是可以根据视频主键标识oid就可以得到字幕，一般使用地址：https://api.bilibili.com/x/v1/dm/list.so?oid=真实oid，找到oid的方法是在网页上通过F12查看网页信息，刷新网页后查看oid即可，如下：

本次使用《夏洛特烦恼》电源的实时字幕测试，在b站的链接是：https://www.bilibili.com/bangumi/play/ep320665?from=search&seid=12253113013013173840，马什么梅啊，Ma What?

播放时候使用上述方法查找oid，发现用https://api.bilibili.com/x/v1/dm/list.so?oid=183896111的链接可以查看字母的XML文件列表：

1、首先，我们得到把字幕保存到本地，这里使用lxml包处理读取的HTML并提取其中元素，保存本地；

import requests
import jieba
import os
import numpy as np
from lxml import etree
from PIL import Image
import jieba.analyse
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator

url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=183896111'
headers={
        "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0"
         }
response=requests.get(url,headers=headers)
html=etree.HTML(response.content)
d_list=html.xpath("//d//text()")
print("+++++++++++++++++"+os.getcwd()+"+++++++++++++++++")
with open ('xialuote.txt',"a+",encoding="utf-8") as f:
    for t in d_list:
        f.write(t+'\n')

二、词云制作，使用结巴分词读取数据，并计算常用词汇出现的频率，使用wordcloud显示图片；

words = ''
f = open('xialuote.txt', 'r',encoding='utf-8')  
for i in f:
	words += f.read()
    

result = jieba.analyse.textrank(words, topK=450, withWeight=True)

keyworlds = dict()
for i in result:
	keyworlds[i[0]] = i[1]

#print(keyworlds)

image = Image.open('test.jpg') 
graph = np.array(image)
wc = WordCloud(font_path='simhei.ttf', background_color='Black', max_font_size=170, mask=graph)
wc.generate_from_frequencies(keyworlds)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
# plt.imshow(wc.recolor(color_func=image_color))
plt.axis('off')
plt.show()
wc.to_file('x.png')

原始图片：

输出图片：