说起这部电影，我本人并没有看，其实原先是想为了情怀看一下，但是好友用亲身经历告诉我看来会后悔的，又去看了看豆瓣评分，史无前例的，，，低。
出于兴趣就爬取一下这部电影在豆瓣上的短评，并且用词云分析一下。
1.分析url
经过分析不难发现每一页短评的url都是一致的除了page的参数值，这个值从0开始是20的整数倍。由此，可以通过字符串拼接构造request的url序列。
2.分析html结构
通过分析源代码，不难发现id存放在一个a标签下，评论内容存放在class为short的一个span标签下。
对id存在的a标签的查找废了一些时间，干扰项太多，几次换汤方才减少干扰项，即使如此最后还是正则表达式匹配该标签得到值。
对评论内容的标签查询相对简单。
3.本地存储数据
得到两个列表后，按照“id content”格式存储于本地txt中，以便分析。
4.数据分析
由于得到的数据主要是评论内容，那么这里主要进行jieba+wordcloud的分词词云分析。
创建词云的时候jieba分词后为了方便，需要剔除一些关键字如“电影”。
当然，也遇到不少问题，例如file.read()的结束。
5.项目代码及结果图
import requests
import re
from bs4 import BeautifulSoup
import jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud, STOPWORDS
def parse_html(html):
'''
:param html: 传入的response的字符串
:return: 返回id的列表和评论内容的列表
'''
soup = BeautifulSoup(html, "html.parser")
html = soup.body
soup = BeautifulSoup(str(html), "html.parser")
html = soup.find("div", attrs={"id": "wrapper"})
a_list = [item.text for item in html.find_all("a", class_=re.compile(r'^'), href=re.compile(r'^https://www.douban.com/people'))]
span_list = [item.text for item in html.find_all("span", class_="short")]
return a_list, span_list
def local_store():
'''
经过观察得知每一页的url结构，组成url地址不断访问，将id和评论存入本地txt文件
:return:None
'''
for i in range(0, 2000, 20):
# 访问的url地址
url = "https://movie.douban.com/subject/24852545/comments?start=" + str(i) + "&limit=20&sort=new_score&status=P"
# 访问的头
headers = {'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Referer': 'http://www.xicidaili.com/nn/',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
}
rsp = requests.get(url=url, headers=headers)
if rsp.status_code == 200:
html = rsp.text
else:
html = None
if html is not None:
id_list, content_list = parse_html(html)
with open("text.txt", 'a', encoding="utf-8") as f:
# 一个id必然对应一个评论，所以一个循环控制即可
for i in range(len(id_list)):
text = id_list[i] + " " + content_list[i]+"\n"
f.write(text)
def data_analysis():
'''
进行得到txt文件内的数据分析
由于数据限制，这里只进行词云分析
:return: None
'''
with open("text.txt", 'r', encoding="utf-8") as f:
text = f.read()
comment = jieba.cut(text, cut_all=False)
# 获得文件内容
comment = " ".join(comment)
print(comment)
# 解析背景图
bg_img = plt.imread("bg.jpg")
# 拦截词
stopwords = set()
stopwords.add("爱情公寓")
stopwords.add("爱情")
stopwords.add("公寓")
stopwords.add("电影")
# 创建wc对象
wc = WordCloud(width=1800, height=1000, background_color='white', font_path="C:/Windows/Fonts/STFANGSO.ttf", mask=bg_img, stopwords=stopwords, max_font_size=400, random_state=50)
wc.generate_from_text(comment)
plt.imshow(wc)
plt.axis('off') # 不显示坐标轴
plt.show()
wc.to_file("result.jpg")
if __name__ == '__main__':
local_store()
data_analysis()