scrapy 爬取的数据保存到exce表格中

只需把爬取过来的数据yield出来,并在pipelines中定义表格即可。

from openpyxl import Workbook
from Job import settings

class JobPipeline(object):   # 设置工序一
    wb = Workbook()
    ws = wb.active
    ws.append(['title','addr','silary','needs','company','info','gm']) 

    def process_item(self, item, spider):  # 工序具体内容
        line = [item['title'][0],item['addr'][0],item['silary'][0],item['needs'][0],item['company'][0],item['info'][0],item['gm'][0]]  #把数据每一行整理出来
        self.ws.append(line)  # 将数据一行的形式添加到xlsx中
        self.wb.save('job.xlsx')  # 保存xlsx文件
        return item