本文全部是转载的：
#--------------------------------------------下面是转载内容---------------------------------------------------------------------------------------
场景：使用Python进行斗鱼直播页面的爬取，爬取的url：https://www.douyu.com/ 当使用str(爬取的html字节码,encoding='utf-8')进行一个编码转换的时候报UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte这个错误。
代码示例:
from urllib import request
class Spilder():
#斗鱼url
url='https://www.douyu.com/'
def __fetch_content(self):
r = request.urlopen(Spilder.url)
htmls = r.read() #获取字节码（html）
print(htmls)
htmls = str(htmls, encoding='utf-8')
print(htmls)
def go(self):
self.__fetch_content()
spilder=Spilder()
spilder.go()
首先我们观察第一个print输出的字节码可以看到它是以"b’\x1f\x8b\x08"开头的 ，说明它是gzip压缩过的数据，这也是报错的原因，所以我们需要对我们接收的字节码进行一个解码操作。修改如下：
from urllib import request
from io import BytesIO
import gzip
class Spilder():
url='https://www.douyu.com/'
def __fetch_content(self):
r = request.urlopen(Spilder.url)
htmls = r.read()
buff = BytesIO(htmls)
f = gzip.GzipFile(fileobj=buff)
htmls = f.read().decode('utf-8')
print(htmls)
def go(self):
self.__fetch_content()
spilder=Spilder()
spilder.go()
#--------------------------------------------上面是转载内容---------------------------------------------------------------------------------------
以上转载内容最终被应用于:
