Scrapy的中间件

关于Scrapy的中间件（下载中间件 | 爬虫中间件）

---

在生成项目时，在middlewares.py会自动生成2个中间件，一个是爬虫中间件，一个是下载中间件

下载中间件（如图步骤4、6）

在下载中间件中可开发：IP代理中间件、UA中间件、Cookies中间件、在中间件中集成 Selenium、在中间件里重试（网络层面）、在中间件里处理异常（网络层面）等

爬虫中间件（如图步骤1、7）

在爬虫中间件中可开发：处理爬虫本身的异常（下载器中间件里面的报错一般是由于外部原因引起的，和代码层面无关。而现在的这种报错是由于代码本身的问题导致的，是代码写得不够周全引起的）等

参考资料

https://blog.csdn.net/freeking101/article/details/88040929?utm_source=app