在爬虫中修改 运行进入回调函数的状态码
custom_settings = {
‘HTTPERROR_ALLOWED_CODES’: [500, 200],
‘CONCURRENT_REQUESTS’: 1 并发量 1
}
设置可重复请求
yield Request(url=response.url, callback=self.parse_detail, meta=meta,dont_filter = True)
最好有全局变量设置请求次数
scrapy url异常仍然进入回调函数，处理后重新请求
猜你喜欢
转载自blog.csdn.net/qq_39306234/article/details/121404123
今日推荐
周排行