Scrapy如何实现多个爬虫循环顺序爬取

如何实现多个爬虫循环顺序爬取

首先设置一个循环,接着为每一个爬虫设置一个定时器,让每一个爬虫爬虫一段时间,再运行下一个爬虫即可。具体代码如下,此处设置每一个爬虫运行3600秒

scrapy采集数据时暂停和恢复采集的方法
http://www.sharejs.com/codes/python/8808
同时运行多个scrapy爬虫的几种方法
https://www.cnblogs.com/skying555/p/5296312.html


猜你喜欢

转载自blog.csdn.net/hoddy355/article/details/80813505