废话不多说，两个中间件，一个下载器，另一个Spider
-
下载器中间件
位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，你可用该中间件做以下几件事
官方英文文档：process a request just before it is sent to the Downloader (i.e. right
before Scrapy sends the request to the website); change received
response before passing it to a spider; send a new Request instead of
passing received response to a spider; pass response to a spider
without fetching a web page; silently drop some requests.简单点理解就是说，引擎engine将request对象交给下载器之前，会经过下载器中间件；此时，中间件提供了一个方法 process_request，可以对 request对象进行设置随机请求头、IP代理、Cookie等；当下载器完成下载时，获得到 response对象，将它交给引擎engine的过程中，再一次经过 下载器中间件；此时，中间件提供了另一个方法 process_response；可以判断 response对象的状态码，来决定是否将 response提交给引擎。
当然可以自己写中间件，想要写明白，就需要搞懂以下这三个方法。
- process_request(request, spider)
- process_response(request, response, spider)
- process_exception(request, exception, spider)
-
方法1：process_request(request,spider)
当每个request通过下载中间件时，该方法被调用。
process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或raise IgnoreRequest 。
重点在这：返回值很重要。
- 返回 None 时，，Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)。
- 如果其返回 Response 对象，Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法，或相应地下载函数； 其将返回该response。 已安装的中间件的 process_response() 方法则会在每个response返回时被调用。
- 如果其返回 Request 对象，Scrapy则停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后， 相应地中间件链将会根据下载的response被调用。
- 如果其raise一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常， 则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)。
-
方法2 process_response(request, response, spider)
同样的，返回值一样很重要：
process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常。
-
如果其返回一个 Response (可以与传入的response相同，也可以是全新的对象)， 该response会被在链中的其他中间件的 process_response() 方法处理。
-
如果其返回一个 Request 对象，则中间件链停止， 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。
-
如果其抛出一个 IgnoreRequest 异常，则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。
-
-
方法3 process_exception(request, exception, spider)
返回值
process_exception() 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。
-
如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。
-
如果其返回一个 Response 对象，则已安装的中间件链的 process_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。
-
如果其返回一个 Request 对象， 则返回的request将会被重新调用下载。这将停止中间件的 process_exception() 方法执行，就如返回一个response的那样。
-
熟悉了这三个方法，基本上可以写出，UA、Cookie、代理、Selenium中间件了。想要更进一步，那么需要对 Scrapy内置的下载器中间件有所掌握。
内置的BASE 下载器中间件如下：
{
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 500,
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 550,
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware': 830,
'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}
按照优先级来介绍：
-
RobotsTxtMiddleware
该中间件过滤所有robots.txt eclusion standard中禁止的request。
确认该中间件及 ROBOTSTXT_OBEY 设置被启用以确保Scrapy尊重robots.txt。
主要看你，settings文件中 ROBOTSTXT_OBEY = False 是否设置了 False
-
HttpAuthMiddleware
该中间件完成某些使用 Basic access authentication (或者叫HTTP认证)的spider生成的请求的认证过程。
-
DownloadTimeoutMiddleware
该中间件设置 DOWNLOAD_TIMEOUT 指定的request下载超时时间.
这个中间件，我用过。继承它之后，重写方法，实现对代理IP访问慢，设置一个超时时间，对它进行判断，超过改时间，进行更换proxy。
-
UserAgentMiddleware
用于覆盖spider的默认user agent的中间件。
要使得spider能覆盖默认的user agent，其 user_agent 属性必须被设置。
经常使用之一，你可以选择继承该中间件，也可以自己写一个。它们之间不是覆盖的关系，而是合并。
-
RetryMiddleware
该中间件将重试可能由于临时的问题，例如连接超时或者HTTP 500错误导致失败的页面。
爬取进程会收集失败的页面并在最后，spider爬取完所有正常(不失败)的页面后重新调度。 一旦没有更多需要重试的失败页面，该中间件将会发送一个信号(retry_complete)， 其他插件可以监听该信号。 -
DefaultHeadersMiddleware
该中间件设置 DEFAULT_REQUEST_HEADERS 指定的默认request header。
-
MetaRefreshMiddleware
该中间件根据meta-refresh html标签处理request重定向。
-
HttpCompressionMiddleware
该中间件提供了对压缩(gzip, deflate)数据的支持
-
RedirectMiddleware
该中间件根据response的状态处理重定向的request。通过该中间件的(被重定向的)request的url可以通过 Request.meta 的 redirect_urls 键找到。 -
CookiesMiddleware
参见博客 CookieMiddleWare详解
-
HttpProxyMiddleware
该中间件提供了对request设置HTTP代理的支持。您可以通过在 Request 对象中设置 proxy 元数据来开启代理。 -
ChunkedTransferMiddleware
该中间件添加了对 chunked transfer encoding 的支持。 -
DownloaderStats
pass
-
HttpCacheMiddleware
该中间件为所有HTTP request及response提供了底层(low-level)缓存支持。 其由cache存储后端及cache策略组成。
说了这么多内置中间件，可以禁用某些中间件吗？ 当然可以
假如，想禁用 RetryMiddleware中间件，只需要在settings文件种的中间件字典里加入， ‘scrapy.downloadermiddlewares.retry.RetryMiddleware’: None,
说了这么多，还不如一张图来的清晰明了
-
Spider 中间件
Spider Middleware是介入到Scrapy的Spider处理机制的钩子框架。如以下经典 scrapy流程图：
Spider Middleware有如下三个作用：
- 我们可以在Downloader生成的Response发送给Spider之前，也就是在Response发送给Spider之前对Response进行处理。
- 我们可以在Spider生成的Request发送给Scheduler之前，也就是在Request发送给Scheduler之前对Request进行处理。
- 我们可以在Spider生成的Item发送给Item Pipeline之前，也就是在Item发送给Item Pipeline之前对Item进行处理。
-
同样的，想要写好 Spider中间件，需要掌握以下四个方法
-
process_spider_input(response, spider)
-
process_spider_output(response, result, spider)
-
process_spider_exception(response, exception, spider)
-
process_start_requests(start_requests, spider)
具体如何使用请看----》》》 spider中间件使用
-
说实话，Spider Middleware使用的频率不高，使用的绝大部分都是下载器中间件。这里，我再举几个自定义下载器中间件的例子。
1. 设置随机UA
一般有两种方法，一是继承 scrapy提供的内置 UserAgentMiddleware
使用 fake_useragent 库 可以随机产生一个UA，不错的一个库。最后，记得在settings配置文件中添加该中间件
法1：
# author:dayin
# Date:2019/12/17 0017
# UserAgentMiddleWare.py
from fake_useragent import UserAgent
class UserAgentMiddleWare(object):
ua = UserAgent()
def process_request(self, request, spider):
request.meta['User-Agent'] = self.ua.random
法2：
class UserAgentMiddleWare2(UserAgentMiddleware):
ua = UserAgent()
def process_request(self, request, spider):
request.meta['User-Agent'] = self.ua.random
2. 设置IP代理
# author:dayin
# Date:2019/12/17 0017
import json
import requests
class ProxyMiddleWare(object):
def process_request(self, request, spider):
request.meta['proxy'] = self.getIP()
print('当前的代理ip为....', request.meta['proxy'])
@staticmethod
def getIP():
ip_port = json.loads(requests.get('http://127.0.0.1:5555/get').json())['proxy']
return 'http://' + ip_port
def process_exception(self, request, spider, exception):
print('----' * 100)
print('代理失效了，换一个代理IP')
request.meta['proxy'] = self.getIP()
print('----' * 100)
return request.replace(dont_filter=True)
我在本地端口5555设置了一个IP代理池，访问它可以返回一个代理IP
end…