Scrapy 对接selenium

Scrapy 对接selenium

# 在爬虫启动后，就只打开一个chrom浏览器，以后都用这单独一个浏览器来爬数据

# 1 在爬虫中创建bro对象

from selenium import webdriver

bro = webdriver.Chrome()

# 2 中间件中使用：
from scrapy.http import HtmlResponse    

spider.bro.get(request.url)
text=spider.bro.page_source
response=HtmlResponse(url=request.url,status=200,body=text.encode('utf-8'))
return response
# 3 关闭，在爬虫中
def close(self, reason):
    self.bro.close()