scrapy爬虫问题items与pipelines

scrapy爬虫问题items与pipelines
问题描述:在爬虫py文件里写了两次yield item(两个item内容不同),在pipelines分别写了两个与item对应的pipeline,item传输的数据只能进入优先级高的pipeline。
解决:因为item传输的数据会传给每个pipeline(setting已设置),所以会出现以上问题。假设Aitem、Bitem、Apipeline、Bpipeline,Aitem对应Apipeline,Bitem对应Bpipeline,当Aitem传输时会传给Apipeline、Bpipeline中优先级高的,假设Bpipeline高,Aitem传入会出错

猜你喜欢

转载自blog.csdn.net/lollipop_sun/article/details/79501732
今日推荐