爬取豆瓣Top250部电影的信息（名称、排名、评价等）
准备：用浏览器查看分析网页
获取数据：通过HTTP库向目标站点发起请求，可包含额外的heard信息
如果服务器能正常响应，会得到一个response，就是获取到的网页内容
解析内容：得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析（提取有用信息）
保存数据：将提取到的有用信息保存（文本、数据库、或特定格式）
下面代码来自Python爬虫技术5天速成（2020全新合集）
大佬讲课深入浅出，感谢！
#!/usr/bin/env python
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup # 网页解析，获取数据（数据拆分）
import re # 正则表达式，文字匹配（数据提炼）
import urllib.request, urllib.error # 指定URL，获取网页数据（给网页就能爬）
import xlwt # 进行excel操作（存到excl）
def main():
baseurl = "https://movie.douban.com/top250?start="
# 1.爬取网页并解析数据
datalist = getData(baseurl)
# 2.保存数据
savepath = ".\\豆瓣电影Top250.xls"
saveData(datalist,savepath)
# 影片详情链接的规则
findlink = re.compile(r'<a href="(.*?)">', re.S) # 创建正则表达式对象，标识规则（字符串的模式）
# 影片图片规则
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S) # re.S:让换行符包含在字符中
# 影片片名
findTitle = re.compile(r'<span class="title">(.*?)</span>', re.S)
# 影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>', re.S)
# 概况介绍
findInq = re.compile(r'<span class="inq">(.*?)</span>', re.S)
# 影片相关内容（导演主演等）
findBd= re.compile(r'<p class="">(.*?)</p>', re.S)
# 1.爬取网页
def getData(baseurl):
"""输入网址==>>返回列表数据"""
datalist = []
for i in range(0,10): # 逐个遍历网址
url = baseurl + str(i*25)
html = askURL(url) # 获取网页源码存到html
# 2.逐一解析网页源码
soup = BeautifulSoup(html,'html.parser') # 解析网页为树结构
for item in soup.find_all('div',class_="item"): # 查找符合要求的内容形成列表
"""找到属性class_="item"的所有div"""
# print(item) #测试：查看电影item全部信息
data = [] # 保存一部电影的所有信息
item = str(item) # 先转化为字符串形式方便查找
# 影片详情的链接
link = re.findall(findlink,item)[0] # re库通过正则表达式查找字符串
data.append(link) # 添加链接
imgSrc = re.findall(findImgSrc,item)[0]
data.append(imgSrc) # 添加图片
titles = re.findall(findTitle,item)
if len(titles) == 2: # 名字可能不止一个
data.append(titles[0]) # 添加中文名
data.append(titles[1].replace("/","")) # 添加外文名（去掉/）
else:
data.append(titles[0])
data.append(' ') # 留空，方面后期处理统一长度
rating = re.findall(findRating,item)[0]
data.append(rating) # 添加评分
judgeNum = re.findall(findJudge,item)[0]
data.append(judgeNum) # 添加评价人数
inq = re.findall(findInq,item) # 影片概述(有的有有的没有)
if len(inq) != 0:
inq = inq[0].replace('。','')
data.append(inq)
else:
data.append(' ')
bd = re.findall(findBd,item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd) # 去掉多余字符
bd = re.sub('/'," ",bd)
data.append(bd.strip()) # 去掉前后空格
datalist.append(data) # 把处理好的一部电影信息放到datalist
return datalist
# 得到一个指定URL的网页内容
def askURL(url):
# 指定头部信息
# 用户代理：告诉服务器我们是什么类型的机器，浏览器（本质上是告诉服务器我们可以接受什么水平的文件内容）
head = {} # 模拟浏览器头部信息，向豆瓣服务器发送消息
head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
'Chrome/78.0.3904.108 Safari/537.36 '
requst = urllib.request.Request(url, headers=head)
html = ""
response = urllib.request.urlopen(requst)
html = response.read().decode('utf-8') # 我们得到了这个网页的信息
return html
# 3.保存数据
def saveData(datalist,savepath):
"""给出保存路径，将数据保存"""
print('开始保存。。。')
book = xlwt.Workbook(encoding='utf-8') # 创建workbook对象（excle文件）
sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True) # 创建工作表
col = ("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息") # 列
for i in range(0,8):
sheet.write(0, i, col[i]) # 写入数据（行，列，内容）
for i in range(0,250):
print('第%d条'%(i+1))
data = datalist[i]
for j in range(0,8):
sheet.write(i+1,j,data[j])
book.save(savepath) # 保存数据表
if __name__ == "__main__": # 程序从此处开始执行（工整）
# 调用函数
main()
爬取结果：
