selenium介绍
1.chromedriver不加载图片
使用chromedrive时，我们可以设置不加载图片：
chrome_opt = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images":2}
chrom_opt.add_experimental_option("prefs",prefs)
browser = webdriver.Chrome(executable_path="...",chrome_options=chrom_opt)
2.phantomjs
phantomjs无界面浏览器，但是多进程情况下，性能会下降很多。
3. selenium集成到Scrapy中
首先能想到将selenium集成到Scrapy中的方式，就是利用中间件，因为中间件中有process_request，可以对request做处理。
设置一个JSPageMiddleware:
from selenium import webdriver
from scrapy.http import HtmlResponse
class JSPageMiddleware(object):
#通过chrome请求动态网页
def process_request(self,request,spider):
if spider.name == "jobbole": #以伯乐在线为例
browser = webdriver.Chrome(executable_path="......")
browser.get(request.url)
import time
time.sleep(3)
print("访问:{0}".format(request.url))
#已经通过browser请求完成，没必要再发送到下载器了去下载了，就直接return HtmlResponse
return HtmlResponse(url=browser.current_url,body=browser.page_source,encoding="utf-8",request=request)
然后在settings配置就可以生效了：
DOWNLOADER_MIDDLEWARES = {
'ArticleSpider.middlewares.JSPageMiddleware': 1,
}
但是，这种方式并不是最优的，因为每请求一次，就会开启一个新的browser。而且browser也没有关闭。
因此，我们可以将browser放入spider中：
from selenium import webdriver
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals
class JobboleSpider(scrapy.Spider):
#省略部分代码。。。。
def __init__(self):
self.browser = webdriver.Chrome(executable_path="......")
super(JobboleSpider,self).__init__()
dispatcher.connect(self.spider_closed,signals.spider_closed) #这里用到了信号量，spider关闭的时候，将browser也关闭
def spider_closed(self,spider):
print("spider closed")
self.browser.quit()
#省略部分代码。。。。
再改写JSPageMiddleware：
from scrapy.http import HtmlResponse
class JSPageMiddleware(object):
#通过chrome请求动态网页
def process_request(self,request,spider):
if spider.name == "jobbole": #以伯乐在线为例
spider.browser.get(request.url)
import time
time.sleep(3)
print("访问:{0}".format(request.url))
#已经通过browser请求完成，没必要再发送到下载器了去下载了，就直接return HtmlResponse
return HtmlResponse(url=spider.browser.current_url,body=spider.browser.page_source,encoding="utf-8",request=request)
这样就将selenium集成到Scrapy中了，但是我们知道Scrapy是一个异步的框架，用了selenium后，就变成了同步的请求了，性能自然会有所下降。
不过我们可以通过重写downloader来提高性能。github上也有相关开源项目，可以参考。
Scrapy其他功能
1.scrapy的暂停与重启
在命令行中输入：
scrapy crawl spider_name -s JOBDIR=.../...
#以爬取拉勾网为例
scrapy crawl lagou -s JOBDIR=job_info/001
运行命令后，只需要按下“Ctrl+c”，就可以暂停爬虫。
暂停后，我们可以发现新增了文件夹job_info：
如果需要继续爬虫，则只需输入相同的命令，运行命令后可以发现，是接着上一次爬虫进度的。
如果需要重启爬虫，则只需要输入新的文件名，（接上面的例子）如：
scrapy crawl lagou -s JOBDIR=job_info/002
2.scrapy的url去重原理
分析源码，我们可以发现在Scheduler中，通过判断dont_filter的值与request_seen来去重，而request_seen中则是采用了request_fingerprint指纹的方式。
进一步深入request_fingerprint，发现是用hashlib来实现的。
class Scheduler(object):
#此处省略大部分代码。。。。
def enqueue_request(self, request):
if not request.dont_filter and self.df.request_seen(request):
self.df.log(request, self.spider)
return False
dqok = self._dqpush(request)
if dqok:
self.stats.inc_value('scheduler/enqueued/disk', spider=self.spider)
else:
self._mqpush(request)
self.stats.inc_value('scheduler/enqueued/memory', spider=self.spider)
self.stats.inc_value('scheduler/enqueued', spider=self.spider)
return True
#此处省略大部分代码。。。。
class RFPDupeFilter(BaseDupeFilter):
"""Request Fingerprint duplicates filter"""
#此处省略大部分代码。。。。
def request_seen(self, request):
fp = self.request_fingerprint(request)
if fp in self.fingerprints:
return True
self.fingerprints.add(fp)
if self.file:
self.file.write(fp + os.linesep)
#此处省略大部分代码。。。。
3.spider middleware 详解
spider middleware位于spider与engine之间，使用时也需要在settings中设置SPIDER_MIDDLEWARES，如：
SPIDER_MIDDLEWARES = {
'JobSpider.middlewares.JobspiderSpiderMiddleware': 543,
}
spider middleware中有几个重要的处理函数：
- 这个方法在将response发往spider的过程中被调用
这个方法应该返回None或者raise一个异常
def process_spider_input(self, response, spider):
# Called for each response that goes through the spider
# middleware and into the spider.
# Should return None or raise an exception.
return None
- 这个方法将在requset或者item发往engine的过程中被调用
这个方法必须返回一个reponse，dict，item
def process_spider_output(self, response, result, spider):
# Called with the results returned from the Spider, after
# it has processed the response.
# Must return an iterable of Request, dict or Item objects.
for i in result:
yield i
- 这个方法将在一个spider或者一个process_spider_input方法抛出异常的时候被调用
这个方法应该返回None或者一个reponse，dict，item
def process_spider_exception(self, response, exception, spider):
# Called when a spider or process_spider_input() method
# (from other spider middleware) raises an exception.
# Should return either None or an iterable of Response, dict
# or Item objects.
pass
- 这个方法用来处理首次发往engine的请求，和process_spider_output唯一不同的地方是，不接受response，并且只能返回一个request
def process_start_requests(self, start_requests, spider):
# Called with the start requests of the spider, and works
# similarly to the process_spider_output() method, except
# that it doesn’t have a response associated.
# Must return only requests (not items).
for r in start_requests:
yield r
内置的SpiderMiddleware:
scrapy中的内置spidermiddleware都可以在这个文件夹下查看：
DepthMiddleware是一个用于追踪每个 Request 在被爬取的网站的深度的中间件。 其可以用来限制爬取深度的最大值。
从源码中可以看出，主要是在process_spider_output中处理逻辑
HttpErrorMiddleware过滤出所有失败(错误)的 HTTP response，使得spider 不需要处理这些 request。
从源码中可以看出，主要是在process_spider_input中处理逻辑
3.scrapy的数据收集
scrapy提供了方便的收集数据的机制，数据以key/value方式存储，值大多数是计数值。
数据收集器对每个spider保持一个状态表。当spider启动时，该表自动打开，当spider关闭时，该表自动关闭。
下面就具体举一个例子来说明如何使用数据收集器：
比如我们需要收集伯乐在线所有404的url以及404页面数，就需要在spider中添加代码：
class JobboleSpider(scrapy.Spider):
#省略部分代码。。。。
handle_httpstatus_list = [404]
#省略部分代码。。。。
def __init__(self):
self.fail_urls = []
def parse(self,response):
if response.status == 404:
self.fail_urls.append(response.url)
self.crawler.stats.inc_value("failed_url")
Debug一下，就发现在stats中有一个用来记录404页面数的failed_url：
4.scrapy的信号详解
scrapy使用信号来通知事情发生，我们可以在scrapy项目中捕捉一些信号来完成额外的工作或功能。
有关信号API可以参考官方文档 https://doc.scrapy.org/en/latest/topics/signals.html
下面就具体举一个例子来说明如何使用信号
还是接着上一个爬取伯乐在线的例子，改写spider中的代码：
class JobboleSpider(scrapy.Spider):
#省略部分代码。。。。
handle_httpstatus_list = [404]
#省略部分代码。。。。
def __init__(self):
self.fail_urls = []
dispatcher.connect(self.handle_spider_closed,signals.spider_closed)#当spider关闭时，执行handle_spider_closed
def handle_spider_closed(self,spider,reason):
self.crawler.stats.set_value("failed_urls",",".join(self.fail_urls))#将fail_urls中的元素用“,”连接放入failed_urls中
def parse(self,response):
if response.status == 404:
self.fail_urls.append(response.url)
self.crawler.stats.inc_value("failed_url")
5.scrapy扩展开发
每个扩展是一个单一的python class，Scrapy扩展的主要入口是from_crawler类方法，它接收一个Crawler的类实例，通过这个对象访问settings，signals，stats控制爬虫行为。扩展开发的思路：通过信号链绑定处理函数，在处理函数中加需要的逻辑。
实际上，中间件都是扩展。
