scrapy结合selenium爬取动态网站(以淘宝为例)

1.引导

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。
那么如何通过selenium请求url，而不再通过下载器downloader去请求这个url?

方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将源代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的process_request()以及downloader都跳过了。

2.主要代码如下

taobao.py


import scrapy
from selenium import webdriver
from selenium.webdriver import FirefoxOptions


class TaobaoSpider(scrapy.Spider):
    name = 'taobao'
    allowed_domains = ['taobao.com']
    start_urls = ['https://s.taobao.com/search?q=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306']
    
    def __init__(self):
        # 在初始化淘宝对象时，创建driver
        # super(TaobaoSpider, self).__init__(name='taobao')
        option = FirefoxOptions()
        option.headless = True
        self.driver = webdriver.Firefox(options=option)

    def parse(self, response):
        """
        提取列表页的商品标题和价格
        :param response:
        :return:
        """
        info_divs = response.xpath('//div[@class="info-cont"]')
        print(len(info_divs))
        for div in info_divs:
            title = div.xpath('.//a[@class="product-title"]/@title').extract_first('')
            price = div.xpath('.//span[contains(@class, "g_price")]/strong/text()').extract_first('')
            print(title, price)
     def closed(self, reason):
        # 等爬虫关闭以后,将driver对象退出,否则driver会一直占用进程
         self.driver.quit() 

middlewares.py

from scrapy.http import HtmlResponse
import time
class SeleniumTaobaoDownloaderMiddleware(object):
    # 将driver创建在中间件的初始化方法中，适合项目中只有一个爬虫。
    # 爬虫项目中有多个爬虫文件的话，将driver对象的创建放在每一个爬虫文件中。
    # def __init__(self):
    #     # 在scrapy中创建driver对象，尽可能少的创建该对象。
    #     # 1. 在初始化方法中创建driver对象；
    #     # 2. 在open_spider中创建deriver对象；
    #     # 3. 不要将driver对象的创建放在process_request()；
    #     option = FirefoxOptions()
    #     option.headless = True
    #     self.driver = webdriver.Firefox(options=option)

    # 参数spider就是TaobaoSpider()类的对象
    def process_request(self, request, spider):
        if spider.name == "taobao":
            spider.driver.get(request.url)
            # 由于淘宝的页面数据加载需要进行滚动，但并不是所有js动态数据都需要滚动。
            for x in range(1, 11, 2):
                height = float(x) / 10
                js = "document.documentElement.scrollTop = document.documentElement.scrollHeight * %f" % height
                spider.driver.execute_script(js)
                time.sleep(0.2)

            origin_code = spider.driver.page_source
            # 将源代码构造成为一个Response对象，并返回。
            res = HtmlResponse(url=request.url, encoding='utf8', body=origin_code, request=request)
            # res = Response(url=request.url, body=bytes(origin_code), request=request)
            return res
        #if spider.name == 'bole':
            #request.cookies = {}
            #request.headers.setDefault('User-Agent','')
       # return None

    def process_response(self, request, response, spider):
        print(response.url, response.status)
        return response