通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度，这个深度是与start_urls中定义url的相对值。也就是相对url的深度。例如定义url为：http://www.domz.com/game/,DEPTH_LIMIT=1那么限制爬取的只能是此url下一级的网页。深度大于设置值的将被ignore。
如图：
scrapy爬取深度设置
猜你喜欢
转载自blog.csdn.net/u012150179/article/details/38226103
今日推荐
周排行