网络爬虫day01
其他
2018-12-01 16:27:32
阅读次数: 0
爬虫的概念
爬虫的流程
- url–>发送请求,获取响应–>提取数据–>保存
- 发送请求,获取响应–>提取url
页面上的数据在哪
- 当前url对应响应的地方
- 其他url对应响应的地方
–比如ajax请求中
- js生成的
–部分数据在响应中
–全部通过js生成
requests中解决编码方法
- requests.text
- requests.content.decode()
- requests.content.decode(‘gbk’)
requests.text 与 requests.content
- requests.text
–类型:str
–解码类型:根据HTTP头部响应的编码作出有根据的推测,推测的文本编码
–修改编码方式:response.encoding = ‘gbk’
- requests.content
–类型:bytes
–解码类型:无指定
–修改编码方式:requests.content.decode(‘utf-8’)
转载自blog.csdn.net/qq_42899028/article/details/84109296