利用Scrapy框架爬取数据保存成excel出现乱码的解决办法

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhaomengszu/article/details/88658108

Scrapy是一个很好的爬虫框架,但是在我们把爬取的数据保存成csv的时候,我们常常会发现,保存下来的数据是乱码,网上也搜索了很多中解决办法,但是很多都是解决不了,先总结下来。

我们在命令行里执行Scrapy框架的时候的步骤如下:

1,首先我们先进入我们spider的目录

cd /Users/zhaomeng/licaiproduct/licaiproduct/spiders

2,执行爬虫文件

scrapy crawl licaiproduct

但是我们常常想把数据保存为excel的格式,所以我们常常会使用如下的办法:

1.使用命令行

scrapy crawl licaiproduct -o XXXX.csv -s FEED_EXPORT_ENCIDING=utf-8,例如 这个博客所示:解决办法 ,但是我尝试里该篇博客的第一个方法后,打开后还是出现了乱码,所以该篇博客第一种解决办法并不能很好的解决。

2.使用第三方软件修改编码格式

notepad2打开,选择编码ANSI,保存,再用excel打开就是正常的了,(没测试,感觉很鸡肋)

3.使用Scrapy框架的优势,代码生成excel。

很多博客都有所涉及,链接如下:代码生成  (没测试,很麻烦)

最后的解决办法

在创建项目的settings.py中,添加如下代码 
FEED_EXPORT_ENCODING = 'gb18030'

即可解决乱码问题。

猜你喜欢

转载自blog.csdn.net/zhaomengszu/article/details/88658108