十六、scrapy_redis（分布式爬虫）

1、Scrapy_redis的基础概念

2、Scrapy_redis的流程

3、Scrapy_redis的使用

1、 Scrapy_redis的基础概念

　　scrapy_redis：基于redis的组件的爬虫

　　github地址：https://github.com/rmax/scrapy-redis

　　scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：request去重（不仅仅是爬过的网页不再爬取，保存的数据也会去重），爬虫持久化，和轻松实现分布式

2、Scrapy_redis的流程