scrapy之持久化存储

scrapy之持久化存储

  scrapy持久化存储一般有三种,分别是基于终端指令保存到磁盘本地,存储到MySQL,以及存储到Redis。

  基于终端指令的持久化存储

scrapy crawl xxoo -o xxoo.csv

  xxoo为爬虫文件名。

  -o为输出的意思,output。

  xxoo.csv为保存到本地的文件的名称,其中包含文件的后缀。其中,这种方式可以保存一下几种文件格式:json, jsonlines, jl, csv, xml, marshal, pickle。

  

0

猜你喜欢

转载自www.cnblogs.com/ZN-225/p/10273833.html