爬虫把item交给pipeline保存为csv文件,发现保存的文件里,每行内容后面都插入一个空行,有些教程去修改scrapy包里在CsvItemExporter的__init__ 的io.TextIOWrapper添加了newline='',但是我试了没有效果
self.file = open('data.csv', 'w',encoding='utf-8')
self.wr = csv.writer(self.file, dialect="excel")
self.wr.writerow(['name','pub_date','city','salary'])
后来尝试把文件打开的方式改了:
self.file = codecs.open('data.csv', 'w', 'utf-8')
解决了
self.file = open('data.csv', 'w',encoding='utf-8')
self.wr = csv.writer(self.file, dialect="excel")
self.wr.writerow(['name','pub_date','city','salary'])
后来尝试把文件打开的方式改了:
self.file = codecs.open('data.csv', 'w', 'utf-8')
解决了