大二下期做爬虫时用的Xpath方法抓取豆瓣电影。
#//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]
# div[1]、span[1]表示要查找的是该标签下的第1个div标签,第1个span标签。
# span标签可以用方法span[1]/text()取出其中的内容,pan[1]/@class可以取出属性值。/@src图片路径
# 电影封面的下载:找到图片的链接地址。调用函数urllib.request.urlretrieve()
#urllib返回返回的html是字符串格式,需要用tree.HTML转化成xpath能处理的对象。
#观察html代码,每一个<li> ...</li>,标签刚好对应一部电影
'''
爬取豆瓣top250电影
第一页 https://movie.douban.com/top250?start=0&filter=
第二页 https://movie.douban.com/top250?start=25&filter=
第三页 https://movie.douban.com/top250?start=50&filter=
data_title ---电影名称
data_info ---电影信息(导演、主演、上映时间)
data_quote ---电影引言
data_score ---电影评分
data_num ---电影评论人数
data_picturl---电影封面链接
urllib.request.urlretrieve("https://movie.douban.com/top250?start=0&filter=",filename=r"C:\Users\Administrator\PycharmProjects\untitled\爬虫\没用的文件\豆瓣电影top250第一页.html")
'''
import urllib.request
from lxml import etree
#构造函数,抓取第i页
def crawler(i):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}
#构造第i页的网址
url = "https://movie.douban.com/top250?start="+ str(25*i)+"&filter="
#发起请求,获得返回html代码并保持在变量res中
res = urllib.request.urlopen(url).read().decode('utf-8')
# 将返回的字符串格式的html代码转换成xpath能处理的对象
res = etree.HTML(res) #解析
#选取行列表,存在了元素对象列表
datas = res.xpath('//*[@id="content"]/div/div[1]/ol')
a = 0
for data in datas:
#list 1 //*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]
#list 2 // *[ @ id = "content"] / div / div[1] / ol / li[2] / div / div[2] / div[1]
# //*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/p[1]
# //*[@id="content"]/div/div[1]/ol/li[2]/div/div[2]/div[2]/p[1]
for n in range(1,26):
data_title = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[1]/a/span[1]/text()')
data_info = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/p[1]/text()')
data_quote = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/p[2]/span/text()')
data_score = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/div/span[2]/text()')
data_num = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/div/span[4]/text()')
data_picturl = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[1]/a/img/@src')
print("No:" + str(i * 25 + a + 1))
print(data_title)
with open(r"C:\Users\Administrator\PycharmProjects\untitled\爬虫\没用的文件\豆瓣top250.txt", "a",encoding='utf-8') as f:
f.write("No:"+str(i * 25 + a + 1)+'\n')
f.write("***"+str(data_title)+"***"+'\n')
f.write("电影信息:\n"+str(data_info[0]).strip()+'\n')
f.write("电影信息:\n"+str(data_info[1]).strip()+'\n') #strip去除收尾空格
f.write("引言:"+str(data_quote)+'\n')
f.write("评分:"+str(data_score)+'\n')
f.write("热度:"+str(data_num)+"\n")
f.write("电影图片链接:"+str(data_picturl)+"\n")
f.write('\n')
a+=1
for i in range(10):
crawler(i)