scrapy框架修改单个爬虫的配置

在一个框架里面有多个爬虫时,每个爬虫的需求不相同,例如,延时的时间,所以可以在这里配置一下custom_settings = {},大括号里面写需要修改的配置,然后就能把settings里面的配置给覆盖了
例如:
custom_settings = {
        "ITEM_PIPELINES": {
            'taskspider.pipelines.CommonPipeline': 300,
        }
    }
    custom_settings = {
        'DOWNLOAD_DELAY': 1.25
    }

  

猜你喜欢

转载自www.cnblogs.com/qiaoer1993/p/10736279.html