在管道文件内编写
pipelines管道文件
- 另外写一个类来处理储存
# 储存方式1
class QiubaiproPipeline(object):
# 对提交的item对象,mysql数据库储存
# 爬虫每次提交item,该方法被执行一次
def process_item(self, item, spider):
return item
# 将数据存到本地磁盘2
class QiubaiByFiles(object):
def process_item(self, item, spider):
print('此处省略,假装写入磁盘文件')
return item
setting文件
- 将类名安格式写入setting中
- 数值越高优先级越高
# 数值越大优先级越高
ITEM_PIPELINES = {
'qiubaiPro.pipelines.QiubaiproPipeline': 300, # 300优先级
'qiubaiPro.pipelines.QiubaiByFiles': 400, # 优先级更高
}