python 获取网页编码问题

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wanglei_storage/article/details/80677309

代码如下：

#!/usr/local/bin/python3.6

import urllib.request

url = 'http://www.baidu.com'
req = urllib.request.urlopen(url)
print(req.read())

在默认情况下，当我执行完这串代码之后，python会打印网页的源信息，并且会有部分乱码问题，这是因为网页编码格式没有解码，所以没有识别

打开我要访问的url，并显示源代码，在网页中找到编码字符集，并且在代码中加入decode(‘utf8’)进行解码即可

代码如下：

#!/usr/local/bin/python3.6

import urllib.request
import json

url = 'http://www.baidu.com'
req = urllib.request.urlopen(url)
print(req.read().decode('utf8'))