从学习爬虫开始，到学习爬虫的代码，再到自己写爬虫程序，遇到了各式各样的问题，每每都需要百度去搜索一个合适的解决方案，耗时耗力。所以把一些我遇到的问题和合适的解决方案记录下来。

1.爬取网页时，网页中文乱码

乱码出现原因：

源网页编码和爬取下来后的编码转换不一致。如源网页为gbk编码的字节流，而我们抓取下后程序直接使用utf-8进行编码并输出到存储文件中，这必然会引起乱码，即当源网页编码和抓取下来后程序直接使用处理编码一致时，则不会出现乱码，此时再进行统一的字符编码也就不会出现乱码了。注意区分源网编码A、程序直接使用的编码B、统一转换字符的编码C。

A、就是web page的服务器端编码

B、抓取到的数据，原始情况为字节数组，它是由A来编码的，只有B=A时，才可以保证不出现乱码，否则当字符集不兼容时，总是会出现乱码,此步骤往往用于测试。

C、统一转码是指得到网页的原始编码A后，再进行的统一编码，主要是为了将各个网页的数据统一成一类编码，往往选择字符集较大的utf-8为宜。

每个网页都有自己的编码，像gbk、utf-8、iso8859-1，以及日文的jp系统编码、西欧、俄文等编码各不相同，当进行漫爬时总是会扩展出各种编码，有的爬虫是对web网页进行简单的编码识别再进行统一编码，有的是不做源网页的判断直接统一按utf-8来处理，这显然是会造成乱码情况。

一般网页的请求头headers中Content-Encoding默认为gzip，而requests获取的编码不是GBK，而是ISO-8859-1，不是爬虫程序所用的'utf-8'编码，所以会出现中文乱码

方案一：

直接把requests获取的信息的编码改为GBK

import requests
response = requests.get(index_url)
    response.encoding = 'GBK'
    req = response.text
    print(req)

方案二：

import requests
    
response = requests.get(index_url)
req = response.text

doc = req.encode('ISO-8859-1').decode(requests.utils.get_encodings_from_content(req)[0])

2.通过requests爬取到图片链接后，f.write(response.text)会报错

response = requests.get(url)
f.write(response.text)
#TypeError: a bytes-like object is required, not 'str'

会出现这个错误提示：TypeError: a bytes-like object is required, not 'str'

response.text和requests.content的区别如下

response.text

类型：str

解码类型：根据HTTP头部对响应的编码做出有根据的推测，推测的文本编码

如何修改编码方式：response.encoding="gbk"

response.content

类型：bytes

解码类型：没有指定

如何修改编码方式：response.content.decode("utf8")

解决方案一：

把response.text换成requests.content

response = requests.get(url)
f.write(response.content)

解决方案二：

官方文档中提供的方法：

data = requests.get(img_url)
if not os.path.exists(title + '.jpg'):
    with open(title + '.jpg', 'wb') as f:
        for chunk in data.iter_content():
            f.write(chunk)
            f.close

入坑爬虫之常见问题及解决方案