python scrapy 爬虫 pipeline

  最近做项目遇到了一个问题:pipeline的start_spider()和close_spider()都执行了,但是没有执行process_item()

  百度结果:

    网上大多是说setting里面没有开启ITEM_PIPELINE选项或者是说parse()里面没有yield。

  但是如果你以上都正确设置,那么真正的原因就是从spider模块传给pipeline的字典对象其实是一个空对象,也就是说parse出现了语法错误,没有执行到yield语句,但是又被try-except捕捉,所有运行也没有问题,但就是不进入process_item()。

猜你喜欢

转载自www.cnblogs.com/hml-xxbj/p/10464081.html