爬虫的概念
爬虫就是:模拟浏览器发送网络请求,获取请求响应
爬虫的流程
url – > 发送请求,获取响应---->提取数据—》保存
获取响应 --》提取url地址,继续请求
浏览器的请求过程
浏览器获取的数据包含:url地址对应的响应+js+css+jpg
爬虫会获取:url地址对应的响应
爬虫获取的内容和elements内容不一样,进行数据提取的时候,需要根据url地址对应的响应为准
http的重点请求头
-
user-agent:告诉对方服务器是什么客户端正在请求资源,爬虫中模拟浏览器非常重要的一个手段
-
cookie:获取登录只有才能够访问的资源
python2和python3中的字符串
ascii 一个字节表示一个字符
unicode 两个字节表示一个字符
utf-8 边长的编码方式,1,2,3字节表示一个字符
-
python2
- 字节类型:str,字节类型,通过decode()转化为unicode类型
- unicode类型:unicode ,通过encode转化为str字节类型
-
python3
- str:unicode,通过encode() 转化为bytes
- bytes:字节类型,通过decode()转化为str类型