设置响应对象的编码格式

设置响应对象的编码格式

爬虫爬取到的数据乱码?

方式一:在发送请求完获取响应对象response对象后,需要对response对象设置编码格式

response.encoding = response.apparent_encoding

其中response.apparent_encoding为获取响应对象的编码格式

response.encoding为设置对象的编码格式

# 网页源码
response = requests.get(url, headers)
# 设置响应对象的编码格式
# response.encoding = 'gzip'
response.encoding = response.apparent_encoding
page_data = response.text
etree = etree.HTML(page_data)

方式二:对乱码的数据单独处理(通用处理中文乱码的解决方案)

我们拿到响应对象后,通过xpath解析完毕,获取到需要的数据,单独对乱码的数据进行处理。

先处理成iso再decode成gbk

img_name = img_name.encode('iso-8859-1').decode('gbk')

其中img_name为乱码的中文数据

猜你喜欢

转载自blog.csdn.net/qq_38499019/article/details/115584086