Python3解决UnicodeDecodeError: 'utf-8' codec can't decode byte..问题 终极解决方案
2017年10月06日 13:19:42 阅读数：52021 标签： python 更多
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wang7807564/article/details/78164855
0x00 问题引出：
最近在做一个买房自动化分析Python脚本，需要爬取网页。
在使用urllib获取reqest的response的时候，还要进行解码。
见语句：
result = res.decode('utf-8')- 1
当执行该语句的时候，会造成异常：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in position 103339: invalid continuation byte- 1
0x01 问题分析
该情况是由于出现了无法进行转换的 二进制数据 造成的，可以写一个小的脚本来判断下，是整体的字符集参数选择上出现了问题，还是出现了部分的无法转换的二进制块：
#python3
#以读入文件为例：
f = open("data.txt","rb")#二进制格式读文件
while True:
line = f.readline()
if not line:
break
else:
try:
#print(line.decode('utf8'))
line.decode('utf8')
#为了暴露出错误，最好此处不print
except:
print(str(line))- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
手写了一段代码，可以通过这段代码的输出来判断哪里出现了问题。
- 1.如果输出的代码都是hex形式的，可能就是你选择的解码字符集出现了错误。 对于python2.7版本的来说，网上有使用这样一种看上去很霸气，其实很low的方式，来处理：
#coding=utf8
import sys
reload(sys)
sys.setdefaultxxxx("utf8")- 1
- 2
- 3
- 4
其实，这可以看作是python2系列版本的小bug,需要自行重新设置一下默认的编码字符集，如果还要这么设置的话，decode()的参数还拿来干嘛。
所以，在python3版本中，就已经取消了这个方法。
- 2.如果是字符集出现错误，建议多选择几种字符集测试一下： 选择的经验是： 如果是爬取到的网页文件，可以查看网页文件的meta标签下的charset属性值。
例如：
<meta charset="UTF-8">- 1
也可以使用notepad++打开，查看下右下角的部位，会指示该文件是那种编码。
- 3.有的情况，是这样的，整个文件是好的，如果用notepad++打开后，能够看到文件是可以打开的，似乎什么问题都没有发生过，但是，用python进行解码的时候，却会出现错误。
我们运行上面的测试脚本，可以看到出现这样的情况：
<li id="J_menuHistory" data-page="J_pageHistory">
<a><i class="icon-history"></i>播放历史 \0xe5 </a>- 1
- 2
当然，这段代码是我随手写的一个例子，这里，可以注意看到这个0xe5,这是无法转换出来的部分，这是不属于编码字符集中的部分。所以，在进行编码转换的时候，会报错。
0x03 解决方法
- 修改字符集参数，一般这种情况出现得较多是在国标码(GBK)和utf8之间选择出现了问题。
- 出现异常报错是由于设置了decode()方法的第二个参数errors为严格（strict）形式造成的，因为默认就是这个参数，将其更改为ignore等即可。例如:
line.decode("utf8","ignore")