问题:
当使用scrapy进行数据采集时,前几个网站都可以正常采集,突然遇到一个网站不管如何改变数据的编解码格式都不管用。
原因:
很有可能是请求头设置错误。博主我就是在setting中设置了默认的请求头,导致数据解码错误。
解决办法:
删除setting中的默认请求头或者在当前的采集任务中设置特定的请求头。博主采用的是前者
正常结果如下:
完毕!
当使用scrapy进行数据采集时,前几个网站都可以正常采集,突然遇到一个网站不管如何改变数据的编解码格式都不管用。
很有可能是请求头设置错误。博主我就是在setting中设置了默认的请求头,导致数据解码错误。
删除setting中的默认请求头或者在当前的采集任务中设置特定的请求头。博主采用的是前者
正常结果如下:
完毕!