爬取豆瓣电影 Top 250 数据

一.主题式网络主题式网络爬虫设计方案

1.爬虫名称：爬取豆瓣电影 Top 250 数据

2.爬取内容：爬取电影排名，评分，介绍

3.网络爬虫设计方案概述：

思路：通过分析网页源代码，找出数据所在的标签，通过爬虫读取数据保存到csv文件中，读取文件，对数据进行清洗和处理，数据分析与可视化处理。

技术难点：数据量过少，所掌握的知识不够使用。

二.主题页面的结构特征分析

1.主题页面的结构和特征分析：爬取数据都分布在标签'<ol class="grid_view">'里面，电影名标签为'span.title',评分标签为'span.rating_num',介绍标签为'span.inq'。

2.Htmls页面解析：

三、网络爬虫程序设计

1.数据的爬取与采集：

def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#伪装爬虫
    resp = requests.get(url, headers = headers) 
    return resp.text

url = 'https://movie.douban.com/top250'
html = get_html(url)
soup = BeautifulSoup(html, 'html.parser')


a = soup.find_all('div', class_='hd')
#电影名
film_name = [] 
for i in a:
    film_name.append(i.a.span.text)

#评分    
rating_score = soup.find_all('span', class_='rating_num')

#介绍
introduce = soup.find_all('span', class_='inq')
    
lt = []
num = 20
for i in range(num):
    lt.append([i+1,film_name[i], rating_score[i].string, introduce[i].string])
df = pd.DataFrame(lt,columns = ['排名', '电影名', '评分', '介绍']) 
print(df)
df.to_csv('豆瓣电影数据.csv') #保存文件，数据持久化

2.对数据进行清洗和处理：

#读取csv文件
df = pd.DataFrame(pd.read_csv('豆瓣电影数据.csv'))
df.head()

#删除无效列与行

df.drop('电影名', axis=1, inplace = True)
df.drop('介绍', axis=1, inplace = True)
df.head()

#检查是否有重复值
df.duplicated()

#空值处理
df.isnull().sum()#返回0，表示没有空值

#缺失值处理
df[df.isnull().values==True]#返回无缺失值

#用describe()命令显示描述性统计指标
df.describe()

3.数据分析与可视化：

#数据分析
X = df.drop("电影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['评分'])
print("回归系数为:",predict_model.coef_)

#绘制排名与热度的回归图
plt.rcParams['font.sans-serif']=['STSong']#显示中文
sns.regplot(df.排名,df.评分)

# 绘制垂直柱状图
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.bar(df.排名, df.评分, label="排名与评分柱状图")
plt.show()

# 绘制散点图
def Scatter_point():
    
    plt.scatter(df.排名, df.评分, color='red', s=25, marker="o")
    plt.xlabel("排名")
    plt.ylabel("评分")
    plt.title("排名与评分-散点图")
    plt.show()

Scatter_point()

#绘制排名与热度折线图
def draw():
    
    x = df['排名']
    y = df['评分']
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.plot(x,y)
    plt.scatter(x,y)
    plt.title("绘制排名与评分折线图")
    plt.show()
    
draw()

#绘制排名与评分-箱体图（盒图）
def draw1():
    
    plt.figure(figsize=(10, 6))
    plt.title('绘制排名与评分-箱体图')
    sns.boxplot(x='排名',y='评分', data=df)

draw1()

#绘制部分分布图
sns.jointplot(x="排名",y='评分',data = df, kind='kde', color='r')

sns.jointplot(x="排名",y='评分',data = df)

sns.jointplot(x="排名",y='评分',data = df, kind='reg')

sns.jointplot(x="排名",y='评分',data = df, kind='hex')

4.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变量之间的回归方程（一元或多元）

#绘制一元一次回归方程
def main():
    
    colnames = ["排名", "电影名", "评分", "介绍"]
    df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
    X = df.排名
    Y = df.评分
    
    def func(p, x):
        k, b = p
        return k * x + b
    
    def error_func(p, x, y):
        return func(p,x)-y
    p0 = [0,0]
    
    Para = leastsq(error_func, p0, args = (X, Y))
    k, b = Para[0]
    print("k=",k,"b=",b)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
    x=np.linspace(0,30,20)
    y=k*x+b
    plt.plot(x,y,color="red",label=u"回归方程直线",linewidth=2) 
    
    plt.title("电影排名和评分关系图")
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.legend() 
    plt.show()
    
main() 

#绘制一元二次回归方程
def one():
    
    colnames = ["排名", "电影名", "评分", "介绍"]
    df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
    X = df.排名
    Y = df.评分
    
    def func(p,x):
        a,b,c=p
        return a*x*x+b*x+c

    def error_func(p,x,y):
        return func(p,x)-y
    
    p0=[0,0,0]
    Para=leastsq(error_func,p0,args=(X,Y))
    a,b,c=Para[0]   
    plt.figure(figsize=(10,6)) 
    plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
    
    x=np.linspace(0,30,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="red",label=u"拟合直线",linewidth=2) 
    plt.title("电影排名和评分一元二次回归方程关系图")
    plt.legend() 
    plt.show()
    
one()

5.将以上各部分的代码汇总，附上完整程序代码:

  1 import requests
  2 from bs4 import BeautifulSoup
  3 import pandas as pd
  4 from sklearn.linear_model import LinearRegression
  5 import seaborn as sns
  6 import numpy as np
  7 import matplotlib.pyplot as plt
  8 import matplotlib
  9 from scipy.optimize import leastsq
 10 
 11 def get_html(url):
 12     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#伪装爬虫
 13     resp = requests.get(url, headers = headers) 
 14     return resp.text
 15 
 16 url = 'https://movie.douban.com/top250'
 17 html = get_html(url)
 18 soup = BeautifulSoup(html, 'html.parser')
 19 
 20 
 21 a = soup.find_all('div', class_='hd')
 22 #电影名
 23 film_name = [] 
 24 for i in a:
 25     film_name.append(i.a.span.text)
 26 
 27 #评分    
 28 rating_score = soup.find_all('span', class_='rating_num')
 29 
 30 #介绍
 31 introduce = soup.find_all('span', class_='inq')
 32     
 33 lt = []
 34 num = 20
 35 for i in range(num):
 36     lt.append([i+1,film_name[i], rating_score[i].string, introduce[i].string])
 37 df = pd.DataFrame(lt,columns = ['排名', '电影名', '评分', '介绍']) 
 38 df.to_csv('豆瓣电影数据.csv') #保存文件，数据持久化
 39           
 40 #读取csv文件
 41 df = pd.DataFrame(pd.read_csv('豆瓣电影数据.csv'))
 42 #print(df)
 43 df.head()
 44 
 45 
 46 #删除无效列与行
 47 
 48 df.drop('介绍', axis=1, inplace = True)
 49 df.head()
 50 
 51 #检查是否有重复值
 52 df.duplicated()
 53 
 54 #空值处理
 55 df.isnull().sum()#返回0，表示没有空值
 56 
 57 #缺失值处理
 58 df[df.isnull().values==True]#返回无缺失值
 59 
 60 #用describe()命令显示描述性统计指标
 61 df.describe()
 62 
 63 #数据分析
 64 X = df.drop("电影名",axis=1)
 65 predict_model = LinearRegression()
 66 predict_model.fit(X,df['评分'])
 67 print("回归系数为:",predict_model.coef_)
 68 
 69 
 70 #绘制排名与评分的回归图
 71 plt.rcParams['font.sans-serif']=['STSong']#显示中文
 72 sns.regplot(df.排名,df.评分)
 73 
 74 # 绘制垂直柱状图
 75 plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
 76 plt.bar(df.排名, df.评分, label="排名与评分柱状图")
 77 plt.show()
 78 
 79 # 绘制散点图
 80 def Scatter_point():
 81     
 82     plt.scatter(df.排名, df.评分, color='red', s=25, marker="o")
 83     plt.xlabel("排名")
 84     plt.ylabel("评分")
 85     plt.title("排名与评分-散点图")
 86     plt.show()
 87 
 88 Scatter_point()
 89 
 90 #绘制排名与评分-折线图
 91 def draw():
 92     
 93     x = df['排名']
 94     y = df['评分']
 95     plt.xlabel('排名')
 96     plt.ylabel('评分')
 97     plt.plot(x,y)
 98     plt.scatter(x,y)
 99     plt.title("绘制排名与评分折线图")
100     plt.show()
101     
102 draw()
103 
104 #绘制排名与评分-箱体图（盒图）
105 def draw1():
106     
107     plt.figure(figsize=(10, 6))
108     plt.title('绘制排名与评分-箱体图')
109     sns.boxplot(x='排名',y='评分', data=df)
110 
111 draw1()
112 
113 #绘制部分分布图
114 sns.jointplot(x="排名",y='评分',data = df, kind='kde', color='r')
115 
116 sns.jointplot(x="排名",y='评分',data = df)
117 
118 sns.jointplot(x="排名",y='评分',data = df, kind='reg')
119 
120 sns.jointplot(x="排名",y='评分',data = df, kind='hex')
121 
122 
123 #绘制一元一次回归方程
124 def main():
125     
126     colnames = ["排名", "电影名", "评分", "介绍"]
127     df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
128     X = df.排名
129     Y = df.评分
130     
131     def func(p, x):
132         k, b = p
133         return k * x + b
134     
135     def error_func(p, x, y):
136         return func(p,x)-y
137     p0 = [0,0]
138     
139     Para = leastsq(error_func, p0, args = (X, Y))
140     k, b = Para[0]
141     print("k=",k,"b=",b)
142     
143     plt.figure(figsize=(10,6))
144     plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
145     x=np.linspace(0,30,20)
146     y=k*x+b
147     plt.plot(x,y,color="red",label=u"回归方程直线",linewidth=2) 
148     
149     plt.title("电影排名和评分关系图")
150     plt.xlabel('排名')
151     plt.ylabel('评分')
152     plt.legend() 
153     plt.show()
154     
155 main()
156 
157 
158 #绘制一元二次回归方程
159 def one():
160     
161     colnames = ["排名", "电影名", "评分", "介绍"]
162     df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
163     X = df.排名
164     Y = df.评分
165     
166     def func(p,x):
167         a,b,c=p
168         return a*x*x+b*x+c
169 
170     def error_func(p,x,y):
171         return func(p,x)-y
172     
173     p0=[0,0,0]
174     Para=leastsq(error_func,p0,args=(X,Y))
175     a,b,c=Para[0]   
176     plt.figure(figsize=(10,6)) 
177     plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
178     
179     x=np.linspace(0,30,20)
180     y=a*x*x+b*x+c
181     plt.plot(x,y,color="red",label=u"拟合直线",linewidth=2) 
182     plt.title("电影排名和评分一元二次回归方程关系图")
183     plt.legend() 
184     plt.show()
185     
186 one()

四、结论

1.结论：经过对主题数据的分析与可视化，突出了各数据间的关系和各数据呈现出来的分布，让数据分析变的容易起来，解决了大部分人工计算绘图等繁杂过程。

2.小结：通过这次做题任务，我明白了数据的分析与可视化，掌握了不少库的使用，期间有在百度上等地方进行学习，此次任务有所收获，加深了对python的热爱。