python3 网络爬虫报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position”解决方案

代码在python2下运行没有问题,转到python3下(print已修改)出现了这个问题,在网上找了好久,只找到需要decode('utf-8'),

关于decode,encode 参考网址:http://blog.csdn.net/feifeiwendao/article/details/51008181

但是问题依旧没有解决。

下面给出解决方法:

报头中的一条'Accept-Encoding': 'gzip, deflate'”

这句话的意思是本地接收压缩格式的数据,服务器传过来压缩格式gzip的文件,而解压这种gzip文件只能用deflate算法,浏览器能够自动解压,程序却不能自动解压gzip,需要额外进行设置才行,设置方法参考https://www.crifan.com/set_accept_encoding_header_to_gzip_deflate_return_messy_code/

总结:写爬虫程序时候还是不要写'Accept-Encoding': 'gzip, deflate'了,就让服务器传原始文件过来吧,不用压缩了。

参考网址:

http://blog.csdn.net/u013066244/article/details/53120731

http://blog.csdn.net/Hudeyu777/article/details/76023441

猜你喜欢

转载自blog.csdn.net/gaoprincess/article/details/79455727