学爬虫有一段时间了，期间总是觉得内容编码会傻傻分不清楚，尤其是直接网页拿数据的时候，遇见中文有时候特别麻烦，看大神介绍的东西太多，只记下了处理方式，仅供参考，不对地方欢迎大家指正~~
一般请求返回内容编码方式步骤如下：
1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写：
2、编码解析：
respond.decode(请求返回的编码格式).encode(Python默认的utf-8)
笔记中其他大神这样教，实践中大多情况我都用：respond.encode(Python默认的utf-8).decode(请求返回的编码格式)
爬取网页内容正常编译，无报错，英文均显示正常，中文乱码
最近爬取免费取名网站时候，遇见爬下来的编码正确编码后无报错，英文均显示正常，但是中文奇奇怪怪乱码情况如下图，网页编码两种情况遇见解析后如此，处理方法如下，
第一种：网页编码为gb2312 (requests的get方式获取数据)
原来处理方式(出现上图乱码)，响应内容=respond.text.encode('utf-8').decode('gb2312')×
改进处理方式： ① respond.content.decode('gb18030'，'ignore') ---亲试遇见中文响应内容解析还是用这种方式好
② respond.content.decode('gbk'，'ignore')
#使用gbk2312出现报错'gbk' codec can't encode character '\u30fb' in position 12530: illegal multibyte sequence~ 这是一个很尴尬的问题，第二种第一次处理也报错，后面又可以了~~~
总结：遇见中文编码decode里面，'gbk'/'gbk2312'/'gb18030' （备用繁体编码选项没用过，可以留用'big5'/'big5hkscs'）总有一款适合你 实在不行看下面↓↓↓
第二种：网页编码为utf-8 (requests的get方式获取数据)
尝试了上面n中组合形式，就是顽固的不行，终于借鉴了一些大神的方法解决掉了，decode（'utf-8'）确定无疑。
解决乱码：在代码之前添加默认设置编码格式
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
url = 'https://www.yw11.com/html/qiming/xuename/2009/0929/273.html'
urlcontent = requests.get(url).content.decode('utf-8')
转自：https://blog.csdn.net/u010924297/article/details/80353440