《消失的她》豆瓣短评数据分析
一、前言
最近爆火的电影《消失的她》你们有没有去看过呢？网上的人对这部电影众说纷纭，《消失的她》到底值不值得去看，相信本篇博客会给你答案。
在本篇博客中，我们将对电影《消失的她》的豆瓣短评数据进行分析，我们的目标是通过对评论数据的探索性数据分析（EDA），情感分析和影评分析，来了解观众对这部电影的评价，以及这部电影是否值得观看。
我们将使用的数据包括：
- 《消失的她》豆瓣短评数据.csv：这是我们的主要数据，包含了豆瓣用户对电影《消失的她》的短评。
- 停用词库.txt：这是我们用来进行文本预处理的停用词库，包含了一些在分析中需要被忽略的常见词汇。
让我们开始吧！
二、数据加载和预处理
import pandas as pd
import numpy as np
# 读取数据
df = pd.read_csv('《消失的她》豆瓣短评数据.csv')
# 查看数据的基本信息
df.info()
df.head()
从上面的输出中，我们可以看到数据集包含232条记录，每条记录包含6个字段：
- 评论者网名：评论者的用户名
- 评价：评论者对电影的评价，例如’推荐’，'还行’等
- 评论：评论者对电影的具体评论
- 评论时间：评论发布的时间
- 评论地点：评论者的地理位置
- 评论点赞数：该评论获得的点赞数
我们还可以看到有些字段存在缺失值，例如’评论者网名’，‘评价’，‘评论’，‘评论时间’，‘评论地点’和’评论点赞数’。在进行进一步的分析之前，我们需要处理这些缺失值。
# 处理缺失值
df = df.dropna()
# 再次查看数据的基本信息
df.info()
df.head()
通过删除包含缺失值的行，我们现在有217条完整的记录。下一步我们将对我们的数据集进行探索性数据分析。
三、探索性数据分析
在这一部分，我们将对数据进行初步的探索，包括：
- 查看评论的评价分布
- 查看评论点赞数的分布
- 查看评论的地理分布
这将帮助我们了解观众对电影的整体评价，以及评论的一些基本特征。
1、查看评论的评价分布
df['评价'].value_counts()
还行 63
推荐 54
较差 47
很差 38
力荐 15
Name: 评价, dtype: int64
import matplotlib.pyplot as plt
import seaborn as sns
from pyecharts.charts import Pie
from pyecharts import options as opts
# 设置风格
sns.set_style('whitegrid')
# 示例数据
cate = [str(i) for i in df['评价'].value_counts().index]
data = [int(i) for i in df['评价'].value_counts().values]
pie = (Pie()
.add('', [list(z) for z in zip(cate, data)],
radius=["30%", "75%"],
rosetype="radius"
)
.set_global_opts(title_opts=opts.TitleOpts(title="《消失的她》评价", subtitle="总体分布"))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {d}%"))
)
pie.render_notebook()
从上图中，我们可以看到大部分的评论都是’还行’，其次是’推荐’，这说明大部分观众对这部电影的评价还是比较积极的。
2、查看评论点赞数的分布
接下来，我们来看一下评论点赞数的分布。
#隐藏警告
import warnings
warnings.filterwarnings("ignore") #忽略警告信息
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
plt.rcParams['figure.dpi'] = 100 #分辨率
# 查看评论点赞数的分布
df['评论点赞数'].describe()
# 绘制评论点赞数的分布图
sns.distplot(df['评论点赞数'], bins=20, kde=False)
从上图中，我们可以看到评论点赞数的分布是右偏的，大部分的评论点赞数都在10000以下，只有少数的评论点赞数超过10000。这说明虽然有些评论得到了很多的点赞，但大部分的评论只得到了较少的点赞。
3、查看评论的地理分布
接下来，我们来看一下评论的地理分布。
# 查看评论的地理分布
plt.figure(figsize=(10, 8))
sns.countplot(y='评论地点', data=df, order=df['评论地点'].value_counts().index)
plt.title('评论的地理分布')
plt.xlabel('数量')
plt.ylabel('地点')
plt.show()
从上图中，我们可以看到评论主要来自于北京、上海、广东和江苏等地，这些地方的观众活跃度较高。
通过以上的探索性数据分析，我们对数据有了一定的了解。接下来我们将进行情感分析，以了解观众对电影的情感倾向。
四、情感分析
在这一部分，我们将对评论文本进行情感分析，以了解观众对电影的情感倾向。我们将使用jieba库进行中文分词，然后使用SnowNLP库进行情感分析。
首先，我们需要加载停用词库，并定义一个函数来进行文本预处理。
import jieba
from snownlp import SnowNLP
# 加载停用词库
with open('停用词库.txt', 'r', encoding='utf-8') as f:
stop_words = [line.strip() for line in f.readlines()]
# 定义文本预处理函数
def preprocess_text(text):
# 使用jieba进行分词
words = jieba.cut(text)
# 去除停用词
words = [word for word in words if word not in stop_words]
return ' '.join(words)
# 对评论文本进行预处理
df['评论'] = df['评论'].apply(preprocess_text)
# 查看处理后的评论
df['评论'].head()
0 一个 谋杀 老婆 男人 无意 谋杀 孩子 流泪 讽刺
1 倪妮 角色 T 铁 T 复仇记
2 男主 b 超 照片 崩溃 孩子 杀 老婆 眼都 眨 ...
3 建议 情人节 档 安排 适合 情侣 宝宝 好 电影 ❤ ...
4 故事 20 分钟 猜 表演 倪妮 好似 没什么 信念 感...
Name: 评论, dtype: object
我们已经成功地对评论进行了预处理，接下来我们将进行情感分析。我们将使用SnowNLP库来进行情感分析。SnowNLP的情感分析是基于情感倾向分类，它会返回一个0到1之间的浮点数，数值越接近1，表示情感越积极，越接近0，表示情感越消极。
from snownlp import SnowNLP
# 定义情感分析函数
def sentiment_analysis(text):
return SnowNLP(text).sentiments
# 对评论进行情感分析
df['情感分析'] = df['评论'].apply(sentiment_analysis)
# 查看情感分析结果
df['情感分析'].head()
0 0.999920
1 0.998887
2 0.054732
3 0.905509
4 0.923089
Name: 情感分析, dtype: float64
# 绘制情感分析结果的直方图
plt.hist(df['情感分析'], bins=20, alpha=0.5, color='steelblue', edgecolor='black')
plt.title('情感分析结果')
plt.xlabel('情感倾向')
plt.ylabel('评论数量')
plt.show()
从直方图中我们可以看出，大部分的评论都倾向于积极的情感，这说明观众对这部电影的评价普遍较好。
接下来，我们将进行评论的词云分析，以便更好地理解观众对电影的评论主题。
from wordcloud import WordCloud
# 合并所有评论
text = ' '.join(df['评论'])
# 生成词云
wordcloud = WordCloud(font_path='simhei.ttf', background_color='white').generate(text)
# 显示词云
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()
从词云中，我们可以看到评论中出现频率较高的词，这些词可以帮助我们理解观众对电影的主要评论主题。
接下来，我们将对电影的评分进行分析，我们将计算电影的平均评分，并查看评分的分布情况。
# 将'评价'这一列的数据转换为数值
df['评价'] = df['评价'].map({
'很差': 1, '较差': 2, '还行': 3, '推荐': 4, '力荐': 5})
# 计算电影的平均评价
average_rating = df['评价'].mean()
print(f'电影的平均评价是：{
average_rating:.2f}')
# 绘制评价的直方图
plt.hist(df['评价'], bins=5, alpha=0.5, color='steelblue', edgecolor='black')
plt.title('评价分布')
plt.xlabel('评价')
plt.ylabel('评论数量')
plt.show()
电影的平均评价是：2.82
电影的平均评价是2.82，这说明观众对电影的评价普遍偏向于"还行"和"推荐"。从评价的分布图中，我们可以看到大部分的评价都集中在"还行"和"推荐"这两个级别，这进一步证实了观众对电影的评价普遍较好。
综上所述，从情感分析的结果、评论的词云和电影的评价来看，观众对这部电影的评价普遍较好，因此，这部电影值得我们去看。