Python数据分析-TMDb 5000 Movie Database电影数据分析

前言
最近刚好Python学完了，所以拿这个项目来练手。要知道好多爬虫数据仅仅凭借Excel和sql是没办法处理的，Python绝对是数据分析的绝佳兵器，数据清洗-数据处理-可视化都可以完成。实践出真知，虽然过程中遇到很多问题，但是学完之后能力就提升啦！这次将自己做的项目完整记录下来并进行分享，以备后续回忆和二次学习。也欢迎感兴趣的同学评论留言，希望我们共同学习，共同进步！

1 项目背景

1.1 故事背景

数据分析最重要的就是要讲一个故事喽！故事怎么讲呢？无非就是提出问题-分析问题-解决问题。因为分析出来的数据解决了某个问题，所以，故事说出来才有卖点，别人才会觉得你的数据分析有价值，才愿意为你的数据分析买单。不多说啦，哈哈(⊙o⊙)…回归正题。

我讲故事就是，王思聪想要在海外开拓万达电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过1亿美元的大型电影也会失败 。这个问题对电影业来说比以往任何时候都更加重要。 所以，他就请来了公司的数据分析师来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公式？以帮助他更好地进行决策。

1.2 提出问题

解决的终极问题是：电影票房的影响因素有哪些？

接下来我们就分不同的维度分析：

• 观众喜欢什么电影类型？有什么主题关键词？
• 电影风格随时间是如何变化的？
• 电影预算高低是否影响票房？
• 高票房或者高评分的导演有哪些？
• 电影的发行时间最好选在啥时候？
• 拍原创电影好还是改编电影好？

2 项目报告

国际惯例先来一份数据报告：

3 理解数据

3.1 数据来源

本次使用的数据来自于kaggle平台（点击链接下载TMDb 5000 Movie Database）。收录了美国地区1916-2017年近5000部电影的数据，包含预算、导演、票房、电影评分等信息。

3.2 数据字段

原始数据集包含2个文件：

• tmdb_5000_movies：电影基本信息，包含20个变量
• tmdb_5000_credits：演职员信息，包含4个变量
  

4 数据清洗

4.1 导入数据

导入数据包

# 数据导入
import numpy as np
import pandas as pd
from pandas import DataFrame, Series

#可视化显示在界面
%matplotlib inline  
import matplotlib
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']  #用来显示中文
plt.rcParams['axes.unicode_minus'] = False  #用来正常显示负号
 
import seaborn as sns
sns.set(color_codes=True)
# 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604

import json
import warnings
warnings.filterwarnings('ignore')
from wordcloud import WordCloud, STOPWORDS

movies = pd.read_csv('F:\\tmdb-movie-metadata\\tmdb_5000_movies.csv',encoding = 'utf_8')
credits = pd.read_csv('F:\\tmdb-movie-metadata\\tmdb_5000_credits.csv',encoding = 'utf_8')
movies.info() #查看信息
credits.info()

运行结果：

续表：

从上述信息可知，共有记录4803条。

# 两个数据框都有title列，以及movies.riginal_title
# 以上三个数据列重复，删除两个
del credits['title']
del movies['original_title']

# 连接两个csv文件
merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')

# 删除不需要分析的列
df=merged.drop(['homepage','overview','spoken_languages','status','tagline','movie_id'],axis=1)
df.info()

运行结果：

从上可知，发行日期 和 运行时间 两列有数据缺失。
接下来处理缺失值。

4.2 缺失值处理

缺失记录仅3条，采取网上搜索，补全信息。

4.2.1 补全release_date

# 查找缺失值记录-release_date
df[df.release_date.isnull()]

运行结果为：

缺失记录的电影标题为《America Is Still the Place》，日期为’ 2014-06-01 ’

# 填充缺失值
df['release_date'] = df['release_date'].fillna('2014-06-01')

4.2.2 补全runtime

# 查找缺失值记录-runtime
df[df.runtime.isnull()]

运行结果：

缺失记录的电影runtime分别为94min和 240min

# 根据行标签，填充缺失值
df.loc[2656] = df.loc[2656].fillna('94, limit=1')
df.loc[4140] = df.loc[4140].fillna('240, limit=1')

4.3 重复值处理

len(df.id.unique())

运行结果：有4803个不重复的id，可以认为没有重复数据。

4.4 日期值处理

将release_date列转换为日期类型：

#转换日期格式，增加 年份 月份 日 列
#如果日期不符合时间戳限制，则errors ='ignore'将返回原始输入，而不会报错。
#errors='coerce'将强制超出NaT的日期，返回NaT。

df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year
df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month)
df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day)
df.info()

运行结果：

养成处理完数据列就进行查看的习惯~

4.5 筛选数据

使用数据分析师最喜欢的一个语法：

df.describe()

运行结果：

• 票房、预算、受欢迎程度、评分为0的数据应该去除；
• 评分人数过低的电影，评分不具有统计意义，这里筛选评分人数大于50的数据。

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')

df

查看筛选结果：

df.info()

此时剩余2961条数据，包含19个字段。

4.6 json数据转换

**说明：**genres,keywords,production_companies,production_countries,cast,crew 这6列都是json数据，需要处理为列表进行分析。

处理方法：

1. json本身为字符串类型，先转换为字典列表
2. 再将字典列表转换为，以’,'分割的字符串

json_column = ['genres','keywords','production_companies','production_countries','cast','crew']

# 1-json本身为字符串类型，先转换为字典列表
for i in json_column:
    df[i] = df[i].apply(json.loads)
    
# 提取name
# 2-将字典列表转换为以','分割的字符串
def get_name(x):
    return ','.join([i['name'] for i in x]) 
        
df['cast'] = df['cast'].apply(get_name)

# 提取derector
def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']

df['crew'] = df['crew'].apply(get_director)

for j in json_column[0:4]:
    df[j] = df[j].apply(get_name)

#重命名
rename_dict = {'cast':'actor','crew':'director'}
df.rename(columns=rename_dict, inplace=True)
df.info()
df.head(5)

运行结果：

4.7 数据备份

# 备份原始数据框original_df
org_df = df.copy()
df.reset_index().to_csv("TMDB_5000_Movie_Dataset_Cleaned.csv")

5 数据分析

5.1 why

想要探索影响票房的因素，从电影市场趋势，观众喜好类型，电影导演，发行时间，评分与关键词等维度着手，给从业者提供合适的建议。

5.2 what

5.2.1 电影类型

# 定义一个集合，获取所有的电影类型
genre = set()
for i in df['genres'].str.split(','): # 去掉字符串之间的分隔符，得到单个电影类型
    genre = set().union(i,genre)    # 集合求并集
    # genre.update(i) #或者使用update方法

print(genre)

运行结果：

注意到genre集合中存在多余的元素：空的单引号，所以需要去除

genre.discard('') # 去除多余的元素
genre

运行结果：

#将genre转变成列表
genre_list = list(genre) 

# 创建数据框-电影类型
genre_df = pd.DataFrame()  

#对电影类型进行one-hot编码
for i in genre_list:
    # 如果包含类型 i，则编码为1，否则编码为0
    genre_df[i] = df['genres'].str.contains(i).apply(lambda x: 1 if x else 0)    

#将数据框的索引变为年份
genre_df.index = df['release_year']
genre_df.head(5)

运行结果：

5.2.1.1 电影类型数量（条形图）

# 计算得到每种类型的电影总数目，并降序排列
grnre_sum = genre_df.sum().sort_values(ascending = False)
# 可视化
plt.rcParams['font.sans-serif'] = ['SimHei']  #用来显示中文
grnre_sum.plot(kind='bar',label='genres',figsize=(12,9))
plt.title('不同类型的电影数量总计',fontsize=20)
plt.xticks(rotation=60)
plt.xlabel('电影类型',fontsize=16)
plt.ylabel('数量',fontsize=16)
plt.grid(False)
plt.savefig("不同电影类型数量-条形图.png",dpi=300) #在 plt.show() 之前调用 plt.savefig()
plt.show()

5.2.1.2 电影类型占比（饼图）

gen_shares = grnre_sum / grnre_sum.sum()

# 设置other类，当电影类型所占比例小于%1时，全部归到other类中
others = 0.01
gen_pie = gen_shares[gen_shares >= others]
gen_pie['others'] = gen_shares[gen_shares < others].sum()

# 设置分裂属性
# 所占比例小于或等于%2时，增大每块饼片边缘偏离半径的百分比
explode = (gen_pie <= 0.02)/10

# 绘制饼图
gen_pie.plot(kind='pie',label='',explode=explode,startangle=0,
                    shadow=False,autopct='%3.1f%%',figsize=(8,8))

plt.title('不同电影类型所占百分比',fontsize=20)
plt.savefig("不同电影类型所占百分比-饼图.png",dpi=300)

5.2.1.3 电影类型变化趋势（折线图）

#电影类型随时间变化的趋势
gen_year_sum = genre_df.sort_index(ascending = False).groupby('release_year').sum()
gen_year_sum_sub = gen_year_sum[['Drama','Comedy','Thriller','Action','Adventure','Crime','Romance','Science Fiction']]
gen_year_sum_sub.plot(figsize=(12,9))
plt.legend(gen_year_sum_sub.columns)
plt.xticks(range(1915,2018,10))
plt.xlabel('年份', fontsize=16)
plt.ylabel('数量', fontsize=16)
plt.title('不同电影变化趋势', fontsize=20)

plt.grid(False)
plt.savefig("不同电影类型数量-折线图2.png",dpi=600)
plt.show()

5.2.1.4 不同电影类型预算/利润（组合图）

# 计算不同电影类型的利润
# Step1-创建profit_dataframe
profit_df = pd.DataFrame()
profit_df = pd.concat([genre_df.reset_index(), df['profit']], axis=1)
# Step2-创建profit_series，横坐标为genre
profit_s=pd.Series(index=genre_list)
# Step3-求出每种genre对应的利润均值
for i in genre_list:
    profit_s.loc[i]=profit_df.loc[:,[i,'profit']].groupby(i, as_index=False).mean().loc[1,'profit']
profit_s = profit_s.sort_values(ascending = True)
profit_s

# 计算不同类型电影的budget
# Step1-创建profit_dataframe
budget_df = pd.DataFrame()
budget_df = pd.concat([genre_df.reset_index(), df['budget']], axis=1)
# Step2-创建budget_series，横坐标为genre
budget_s=pd.Series(index=genre_list)
# Step3-求出每种genre对应的预算均值
for j in genre_list:
    budget_s.loc[j]=budget_df.loc[:,[j,'budget']].groupby(j, as_index=False).mean().loc[1,'budget']
budget_s

# 再接着，横向合并 profit_s 和 budget_s
profit_budget = pd.concat([profit_s, budget_s], axis=1)
profit_budget.columns = ['profit', 'budget']

#添加利润率列
profit_budget['rate'] = (profit_budget['profit']/profit_budget['budget'])*100
# 降序排序
profit_budget_sort=profit_budget.sort_values(by='budget',ascending = False)
profit_budget_sort.head(2)

# 绘制不同类型电影平均预算和利润率（组合图）
x = profit_budget_sort.index
y1 = profit_budget_sort.budget
y2 = profit_budget_sort.rate
# 返回profit_budget的行数
length = profit_budget_sort.shape[0]

fig = plt.figure(figsize=(12,9))
# 左轴
ax1 = fig.add_subplot(1,1,1)
plt.bar(range(0,length),y1,color='b',label='平均预算')
plt.xticks(range(0,length),x,rotation=90, fontsize=12)  # 更改横坐标轴名称
ax1.set_xlabel('年份')                   # 设置x轴label ,y轴label
ax1.set_ylabel('平均预算',fontsize=16)
ax1.legend(loc=2,fontsize=12)

#右轴
# 共享x轴，生成次坐标轴
ax2 = ax1.twinx()
ax2.plot(range(0,length),y2,'ro-.') 
ax2.set_ylabel('平均利润率',fontsize=16)
ax2.legend(loc=1,fontsize=12)

# 将利润率坐标轴以百分比格式显示
import matplotlib.ticker as mtick
fmt='%.1f%%'
yticks = mtick.FormatStrFormatter(fmt)
ax2.yaxis.set_major_formatter(yticks)

# 设置图片title
ax1.set_title('不同类型电影平均预算和利润率',fontsize=20)
ax1.grid(False)
ax2.grid(False)
plt.savefig("不同电影平均预算+利润率.png",dpi=300)
plt.show()

# 绘制不同类型电影预算和利润（条形图）
profit_budget_sort.iloc[:,0:2].plot(kind='bar', figsize=(12,9),color = ['darkorange','b'])
plt.title('Budget and Profit',fontsize = 20)
plt.xlabel('len',fontsize = 16)
plt.grid(False)
plt.savefig('不同类型电影预算和利润-条形图.png',dpi=300)

5.2.2 电影关键词

#keywords关键词分析
keywords_list = []
for i in df['keywords']:
    keywords_list.append(i)
    keywords_list
#把字符串列表连接成一个长字符串
lis = ''.join(keywords_list)
lis.replace('\'s','')
#设置停用词
stopwords = set(STOPWORDS)
stopwords.add('film')
wordcloud = WordCloud(
                background_color = 'black',
                random_state=9, # 设置一个随机种子，用于随机着色
                stopwords = stopwords,
                max_words = 3000,
                scale=1).generate(lis)
plt.figure(figsize=(10,6))
plt.imshow(wordcloud)
plt.axis('off')
plt.savefig('词云图.png',dpi=300)
plt.show()

运行结果：

5.3 when

查看runtime的类型，发现是object类型，也就是字符串
所以，先进行数据转化

df.runtime.head(5)

# 转换数据类型
df.runtime = df.runtime.convert_objects(convert_numeric=True)
df.runtime.describe()

运行结果：

5.3.1 电影时长

# 可视化
sns.set_style('white')
sns.distplot(df.runtime,bins = 20)
sns.despine(left = True) # 使用despine()方法来移除坐标轴，默认移除顶部和右侧坐标轴
plt.xticks(range(50,360,20))
plt.savefig('电影时长直方图.png',dpi=300)
plt.show()

运行结果：

5.3.2 发行时间

fig = plt.figure(figsize=(8,6))

x = list(range(1,13))
y1 = df.groupby('release_month').revenue.size()
y2 = df.groupby('release_month').revenue.mean()# 每月单片平均票房

# 左轴
ax1 = fig.add_subplot(1,1,1)
plt.bar(x,y1,color='b',label='电影数量')
plt.grid(False)
ax1.set_xlabel('月份')                   # 设置x轴label ,y轴label
ax1.set_ylabel('电影数量',fontsize=16)
ax1.legend(loc=2,fontsize=12)

# 右轴
ax2 = ax1.twinx()
plt.plot(x,y2,'ro--',label='每月单片平均票房')
ax2.set_ylabel('每月单片平均票房',fontsize=16)
ax2.legend(loc=1,fontsize=12)

plt.savefig('每月电影数量和单片平均票房.png',dpi=300)

运行结果：

5.4 where

本数据集收集的是美国地区的电影数据，对于电影的制作公司以及制作国家，在本次的故事背景下不作分析。

5.5 who

5.5.1 票房分布及票房Top10的导演

# 创建数据框 - 导演
director_df = pd.DataFrame()
director_df = df[['director','revenue','budget','profit','vote_average']]
director_df = director_df.groupby(by = 'director').mean().sort_values(by='revenue',ascending = False) # 取均值
director_df.info()

# 绘制票房分布直方图
director_df['revenue'].plot.hist(bins=100, figsize=(8,6)) 
plt.xlabel('票房')
plt.ylabel('频数')
plt.title('不同导演执导的票房分布')
plt.savefig('不同导演执导的票房分布.png',dpi = 300)
plt.show()

# 票房均值Top10的导演
director_df.revenue.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6))
plt.xlabel('票房',fontsize = 16)
plt.ylabel('导演',fontsize = 16)
plt.title('票房排名Top10的导演',fontsize = 20)
plt.savefig('票房排名Top10的导演.png',dpi = 300)
plt.show()

5.5.2 评分分布及评分Top10的导演

# 绘制导演评分直方图
director_df['vote_average'].plot.hist(bins=18, figsize=(8,6)) 
plt.xlabel('评分')
plt.ylabel('频数')
plt.title('不同导演执导的评分分布')
plt.savefig('不同导演执导的评分分布.png',dpi = 300)
plt.show()

# 评分均值Top10的导演
director_df.vote_average.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6))
plt.xlabel('评分',fontsize = 16)
plt.ylabel('导演',fontsize = 16)
plt.title('评分排名Top10的导演',fontsize = 20)
plt.savefig('评分排名Top10的导演.png',dpi = 300)
plt.show()

5.6 how

5.6.1 原创VS改编占比（饼图）

# 创建数据框
original_df = pd.DataFrame()
original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0)
original_df['profit'] = df['profit']
original_df['budget'] = df['budget']

# 计算
novel_cnt = original_df['keywords'].sum() # 改编作品数量
original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量
# 按照 是否原创 分组
original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值
# 增加计数列
original_df['count'] = [original_cnt, novel_cnt]
# 计算利润率
original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100

# 修改index
original_df.index = ['original', 'based_on_novel']
# 计算百分比
original_pie = original_df['count'] / original_df['count'].sum()

# 绘制饼图
original_pie.plot(kind='pie',label='',startangle=90,shadow=False,autopct='%2.1f%%',figsize=(8,8))
plt.title('改编 VS 原创',fontsize=20)
plt.legend(loc=2,fontsize=10)
plt.savefig('改编VS原创.png',dpi=300)

5.6.2 原创VS改编预算/利润率（组合图）

x = original_df.index
y1 = original_df.budget
y2 = original_df.profit_rate

fig= plt.figure(figsize = (8,6))

# 左轴
ax1 = fig.add_subplot(1,1,1)
plt.bar(x,y1,color='b',label='平均预算',width=0.25)
plt.xticks(rotation=0, fontsize=12)  # 更改横坐标轴名称
ax1.set_xlabel('原创 VS 改编')                   # 设置x轴label ,y轴label
ax1.set_ylabel('平均预算',fontsize=16)
ax1.legend(loc=2,fontsize=10)

#右轴
# 共享x轴，生成次坐标轴
ax2 = ax1.twinx()
ax2.plot(x,y2,'ro-.',linewidth=5,label='平均利润率') 
ax2.set_ylabel('平均利润率',fontsize=16)
ax2.legend(loc=1,fontsize=10) # loc=1,2,3,4分别表示四个角，和四象限顺序一致

# 将利润率坐标轴以百分比格式显示
import matplotlib.ticker as mtick
fmt='%.1f%%'
yticks = mtick.FormatStrFormatter(fmt)
ax2.yaxis.set_major_formatter(yticks)

plt.savefig('改编VS原创的预算以及利润率.png',dpi=300)

5.7 how much

5.7.1 计算相关系数

# 计算相关系数矩阵
revenue_corr = df[['runtime','popularity','vote_average','vote_count','budget','revenue']].corr()

sns.heatmap(
            revenue_corr,
            annot=True, # 在每个单元格内显示标注
            cmap="Blues", # 设置填充颜色：黄色，绿色，蓝色
#             cmap="YlGnBu", # 设置填充颜色：黄色，绿色，蓝色
#             cmap="coolwarm", # 设置填充颜色：冷暖色
            cbar=True,  # 显示color bar
            linewidths=0.5, # 在单元格之间加入小间隔，方便数据阅读
            # fmt='%.2f%%',  # 本来是确保显示结果是整数（格式化输出），此处有问题
           )
plt.savefig('票房相关系数矩阵.png',dpi=300)

运行结果：

5.7.2 票房影响因素散点图

# 绘制散点图
fig = plt.figure(figsize=(17,5))

# # 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604
ax1 = plt.subplot(1,3,1)
ax1 = sns.regplot(x='budget', y='revenue', data=revenue_df, x_jitter=.1,color='r',marker='x')
# marker: 'x','o','v','^','<'
# jitter:抖动项，表示抖动程度
ax1.text(1.6e8,2.2e9,'r=0.7',fontsize=16)
plt.title('budget-revenue-scatter',fontsize=20)
plt.xlabel('budget',fontsize=16)
plt.ylabel('revenue',fontsize=16)

ax2 = plt.subplot(1,3,2)
ax2 = sns.regplot(x='popularity', y='revenue', data=revenue_df, x_jitter=.1,color='g',marker='o')
ax2.text(500,3e9,'r=0.59',fontsize=16)
plt.title('popularity-revenue-scatter',fontsize=18)
plt.xlabel('popularity',fontsize=16)
plt.ylabel('revenue',fontsize=16)

ax3 = plt.subplot(1,3,3)
ax3 = sns.regplot(x='vote_count', y='revenue', data=revenue_df, x_jitter=.1,color='b',marker='v')
ax3.text(7000,2e9,'r=0.75',fontsize=16)
plt.title('voteCount-revenue-scatter',fontsize=20)
plt.xlabel('vote_count',fontsize=16)
plt.ylabel('revenue',fontsize=16)

fig.savefig('revenue.png',dpi=300)