12. scrapy 框架持续化存储

一、 基于终端指令的持久化存储

  • 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作
   执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储:
      scrapy crawl 爬虫名称 -o xxx.json   scrapy crawl 爬虫名称 -o xxx.xml   scrapy crawl 爬虫名称 -o xxx.csv

示例:

猜你喜欢

转载自www.cnblogs.com/mwhylj/p/10254959.html