一、scrapy生成csv文件会有多余的空行
当使用scrapy crawl testspider -o test.csv后,生成的默认csv文件每一行之间是有空行的,解决的方法是修改scrapy的源代码
首先打开C:\Users\fengyun\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\scrapy里的exporters.py文件(依据自己的安装路径进行查找)
在打开的文件中添加一行newline=“”,问题就解决了。
二、csv文件使用excel打开显示乱码
网上大部分的方法都是新建一个excel文件,然后把这个csv导进去,修改分割值,而且其实最后还可能因为某些原因拷入数据的时候失败
这里介绍第二种方法,使用Notepad++修改编码
中文一般就用UTF-8就可以了,不行就试试UTF-8-BOM编码
好了,关于scrapy命令行生成csv文件空行,以及excel打开csv文件乱码的问题,解决方案到就到这里。