第三百三十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理
网站树形结构
深度优先
是从左到右深度进行爬取的，以深度为准则从左到右的执行（递归方式实现）Scrapy默认是深度优先的
广度优先
是以层级来执行的，（列队方式实现）
学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲
猜你喜欢
转载自blog.csdn.net/u013683613/article/details/104361104
今日推荐
周排行