上一篇用requests这个库进行图片的批量下载，只所以可以这样做，是因为豆瓣提供的XHR的接口API，而且接口返回的数据类型为json格式，所以使用起来非常的方便，但是有时候我们需要分析html格式或xml格式的数据，从中提取需要的链接，再进行下载，这时候selenium就派上了用场。
一 人工下载海报
以下载甄子丹的海报为例，我们一般打开豆瓣电影网站：https://movie.douban.com/ 然后输入关键词甄子丹，然后再去下载海报。
二 自动下载处理思路
自动下载，我们需要能够分析出网页种海报图片的具体地址，然后通过程序去下载。
2.1 xpath学习
这里通过xpath去搜寻图片的地址，xpath是 XML Path Language的简称，原来用于搜索xml中的具体路径的，同样适用于搜寻html的元素，简单语法说明下:
在python中，适用lxml库可以将html转成xpath对象，然后进行分析，非常方便，lxml库可以对html未闭合的标签元素做容错处理。
看一个简单的例子：
from lxml import etree
text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
解析：
#读取字符串，读取文件可以用
#html=etree.parse('test.html',etree.HTMLParser())
html = etree.HTML(text)
#转成补全字节
r = etree.tostring(html,encoding='utf-8')
#打印补全结果
#print(r.decode('utf-8'))
#搜下下面所有为li的子孙节点
resultLi = html.xpath("//li")
print("//li: "+ str(resultLi))
#搜寻li节点下面的a节点，并取href属性的值
reLiA = html.xpath("//li/a/@href")
print("//li/a/@href :"+ str(reLiA))
#获取href的属性值为link2.html的a节点的上层节点的class熟悉值
reClass=html.xpath('//a[@href="link2.html"]/../@class')
print('//a[@href="link2.html"]/../@class :'+ str(reClass))
#搜寻li节点下面的a节点，并取href属性的值
reLiText = html.xpath("//li/a/text()")
print("//li/a/text() :"+ str(reLiText))
上述代码本来是一段，在markdown中解析有问题，改成两段了。
打印结果如下：
//li: [<Element li at 0x1cb14b89908>, <Element li at 0x1cb14b89988>, <Element li at 0x1cb14b899c8>, <Element li at 0x1cb14b89a08>, <Element li at 0x1cb14b89a48>]
//li/a/@href :['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']
//a[@href="link2.html"]/../@class :['item-1']
//li/a/text() :['first item', 'second item', 'third item', 'fourth item', 'fifth item']
2.2 图片的xpath路径提取
通过上面的例子，xpath的语法虽然不复杂，但是有时候还要记忆，幸好chorme浏览器有个xpath helper插件，安装上之后鼠标放在图片上，按下ctrl+shift+x键，弹出对话框：
鼠标在这些海报中来回移动，发现变化的部分，然后修改xpath，去掉前面的固定前缀，把list的下标改成固定值，得到如下：
得到海报的xpath:
//div[@id='recent_movies']/div[@class='bd']/ul[@class='list-s']/*/div[@class='pic']/a/img/@src
这个xpath可以获取到的图片地址为：
https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2577437186.webp
https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2537133715.webp
https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2542380253.webp
https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2528842218.webp
https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2499052494.webp
我们用selenium模拟浏览器来进行html的加载和xpath的查询，获取到地址后，就可以通过下载函数进行图片下载。
三. 利用selenium 进行海报的下载
在豆瓣电影中搜索”甄子丹”
https://search.douban.com/movie/subject_search?search_text=%E7%94%84%E5%AD%90%E4%B8%B9&cat=1002
调整下xpath:
//div[1]/div[@class='sc-bZQynM jbSySb sc-bxivhb gemzcp'][*]/div[@class='item-root']/a[@class='cover-link']/img[@class='cover']/@src
得到的15个结果:
https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2577437186.webp
...
如果需要翻页的话，链接加个start=15说明从16个海报开始展示。
获取电影名称：
//div[@class='_ytukbl17q']/div[1]/div[@class='sc-bZQynM cBnAay sc-bxivhb gemzcp'][*]/div[@class='item-root']/div[@class='detail']/div[@class='title']/a[@class='title-text']
得到结果：
武侠 (2011)
西游记之大闹天宫 (2014)
...
最终下载代码：
# -*- coding: utf-8 -*-
import requests
import json
import sys
import io
import os
from selenium import webdriver
from lxml import etree
def download(picPath,src, id):
if not os.path.isdir(picPath):
os.mkdir(picPath)
dir = picPath+'/' + str(id) + '.webp'
print(src)
imageHeader = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
#'accept-encoding': 'gzip, deflate',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'max-age=0',
'sec-fetch-mode': 'navigate',
'sec-fetch-site': 'none',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
try:
pic = requests.get(src,headers=imageHeader,timeout=50)
fp = open(dir, 'wb')
fp.write(pic.content)
fp.close()
except requests.exceptions.ConnectionError:
print('Sorrry,image cannot downloaded, url is error{}.'.format(src))
def query_img(query,downloadUrl):
realUrl = downloadUrl.format(query)
print(realUrl)
driver = webdriver.Chrome('D:\\py3\\Lib\\site-packages\\selenium\\webdriver\\chrome\\chromedriver_win32\\chromedriver.exe')
driver.get(realUrl)
#解析html
html = etree.HTML(driver.page_source)
image_url_path = "//div[1]/div[*]/div[@class='item-root']/a[@class='cover-link']/img[@class='cover']/@src"
movie_name_path = "//div/div[1]/div[*]/div[@class='item-root']/div[@class='detail']/div[@class='title']/a[@class='title-text']/text()"
urls = html.xpath(image_url_path)
names = html.xpath(movie_name_path)
picPath = 'F:\\python\\images'
for (url,name) in zip(urls,names):
download(picPath,url,name)
if __name__ == "__main__":
query = '甄子丹'
url = 'https://search.douban.com/movie/subject_search?search_text=\'{}\'&cat=1002'
query_img(query,url)
注意：这里面利用chrome浏览器的driver，不同的浏览器的driver可以到https://selenium-python.readthedocs.io/installation.html链接去下载，主要要和自己的浏览器版本保持一致。
chrome浏览器的版本可以通过在浏览器中输入：chrome://version/来进行查看。
祝大家冬至快乐！