前言:
1.什么是互联网
物理连接介质 + 互联网协议
2.互联网建立的目的
用于打破地域限制来进行数据传输,否则想要获取对方数据,只能拿着硬盘去对方主机拷贝
3.什么是上网
用户通常使用浏览器发送请求给目标主机,然后将目标主机上的文件内容下载到本地
浏览器与服务端之间是基于http协议工作的
一:HTTP协议
1:什么是http协议:
HTTP协议是用于从服务器传输超文本到本地浏览器的传输协议;
2.http协议工作于B/S架构上
浏览器作为HTTP客户端通过URL向HTTP服务端发送Request;
web服务器根据接受到的请求,向客户端发送响应信息Response;
3.http协议是基于TCP/IP通信协议来传递数据的:
HTTP的版本:0.9、1.0、1.1、2.0
常用版本:http1.1
引入了许多关键性能优化:keepalive连接,请求流水线,chunked编码传输,字节范围请求:
1、Persistent Connection(keepalive连接)
长连接,让连接不会断开!
http特性,无状态,无连接
二:爬虫三要素
1.User-agent:消息头
2.Cookie:缓存数据
3.referer:跳转网页来源