scrapy中数据采集出现乱码问题(低级错误)

问题:

当使用scrapy进行数据采集时,前几个网站都可以正常采集,突然遇到一个网站不管如何改变数据的编解码格式都不管用。

原因:

很有可能是请求头设置错误。博主我就是在setting中设置了默认的请求头,导致数据解码错误。

解决办法:

删除setting中的默认请求头或者在当前的采集任务中设置特定的请求头。博主采用的是前者

正常结果如下:

完毕!

发布了131 篇原创文章 · 获赞 211 · 访问量 27万+

猜你喜欢

转载自blog.csdn.net/qq_26870933/article/details/99468269