什么是http和https协议
- HTTP协议：全称是 HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80
- HTTPS协议：是HTTP的加密版本，在HTTP下加入SSL层，服务器端口号是403
在浏览器中发送一个http请求的过程
- 当用户在浏览器地址栏中输入一个URL并按回车键之后，浏览器会向http服务器发送http请求。http请求主要分为“get”和“post”两种方法。
- 当我们在浏览器中输入URL http://www.baidu.com的时候，浏览器发送一个request请求去获取http://www.baidu.com的html文件，服务器把response文件对象发送回给浏览器。
- 浏览器分析response中的html，发现其中引用了许多其他文件，比如images文件，CSS文件，JS文件，浏览器会自动再次发送Request去获取图片，CSS文件或着者JS文件。
- 当所有文件都下载成功后，网页会根据html语法结构，完整的显示出来。
URL解析
URL详解：URL是Uniform Resource Locator的缩写，统一资源定位符。
一个URL有以下几部分构成：
scheme：//host:port/path/？query-string=xxx#anchor
- scheme：代表的是访问的协议，一般为http或者https以及ftp等。
- host：主机名，域名，比如www.baidu.com
- port：端口号。当你访问一个网络的时候，浏览器默认使用80端口。
- path：查找路径。比如：https://item.jd.com/40468351063.html，后面的40468351063.html就是path
- query-string：查询字符串，https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=python&rsv_pq=ada012bc00018917&rsv_t=2637WdXSzepoAL7f7r0vjB58CANn8ZHzUiloyQQrE%2Bf3FlZeufHmXuo2vNw&rqlang=cn&rsv_enter=1&rsv_sug3=7&rsv_sug1=7&rsv_sug7=101&rsv_sug2=0&inputT=2136&rsv_sug4=3071&rsv_sug=1 这里的wd=python就是查询字符串
- anchor：锚点，后台一般不用管，前端用来做页面定位的
在浏览器中请求一个url，浏览器会对这个url进行一个编码，除英文字母，数字和部分符号外，其他的全部使用百分号＋十六进制码值进行编码
常用的请求方法
- get：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
- post：向服务器发送数据（登录）、上传数据等，会对服务器资源产生影响的时候会使用post请求。
以上是网站开发中常用的两种方法。并且一般情况下会遵循使用的原则。但是有的网站和服务器为了反爬虫机制，也经常会不按常理出牌，有可能一个应该使用get方法的请求就一定要改成post请求，这个要具体情况具体对待。
如下图限定请求方式为：POST
请求常见参数
在http协议中，向服务器发送一个请求，数据分为三部分，第一个是数据放在URL中，第二个是数据放在body中（在post请求中），第三种就是把数据放在head中。下边介绍一下网络爬虫中经常会用到的一些请求头参数：
- User-Agent：浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是有那种浏览器发送的。如果我们通过爬虫发送请求，那我们的User-Agent就是python，对于那些有反爬虫机制的网站来说，可以轻易判断你这个请求是爬虫，因此我们经常设置这个值为一些浏览器的值，来伪装我们的爬虫。
- Referer：表明当前这个请求是从哪个url过来的。这个一般也可以用来做反爬虫机技术，如果不是从指定页面过来的，那么就不作相应的响应。
- Cookie：http协议是无状态的，也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用Cookie做标识。一般如果想要做登录后才能访问的网站，那么就要发送Cookie信息了。
常见的响应状态码
| 分类 | 分类描述 |
|---|---|
| 1** | 消息，服务器收到请求，需要请求者继续执行操作 |
| 2** | 成功，操作被成功接收并处理 |
| 3** | 重定向，需要进一步的操作以完成请求 |
| 4** | 客户端错误，请求包含语法错误或无法完成请求 |
| 5** | 服务器错误，服务器在处理请求的过程中发生了错误 |
具体状态码
| 状态码 | 名称 | 含义 |
|---|---|---|
| 100 | Continue | 客户端应当继续发送请求。 |
| 101 | Switching Protocols | 切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议，例如，切换到HTTP的新版本协议 |
| 200 | OK | 请求成功。一般用于GET与POST请求 //但是可能返回状态码是200，但因为User-Agent不为所要求的，则返回一个假的消息 |
| 201 | Created | 已创建。成功请求并创建了新的资源 |
| 202 | Accepted | 已接受。已经接受请求，但未处理完成，处理将异步进行 |
| 203 | Non-Authoritative Information | 非授权信息。请求成功。但返回的meta信息不在原始的服务器，而是一个副本 |
| 204 | No Content | 无内容。服务器成功处理，但未返回内容。在未更新网页的情况下，可确保浏览器继续显示当前文档 |
| 205 | Reset Content | 重置内容。服务器处理成功，用户终端（例如：浏览器）应重置文档视图。可通过此返回码清除浏览器的表单域 |
| 206 | Partial Content | 部分内容。服务器成功处理了部分GET请求 |
| 300 | Multiple Choices | 多种选择。请求的资源可包括多个位置，相应可返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择 |
| 301 | Moved Permanently | 永久移动。请求的资源已被永久的移动到新URI，返回信息会包括新的URI，浏览器会自动定向到新URI。今后任何新的请求都应使用新的URI代替 |
| 302 | Found | 临时移动。与301类似。但资源只是临时被移动。客户端应继续使用原有URI |
| 303 | See Other | 查看其它地址。与301类似。使用GET和POST请求查看 |
| 304 | Not Modified | 未修改。所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。客户端通常会缓存访问过的资源，通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源 |
| 305 | Use Proxy | 使用代理。所请求的资源必须通过代理访问 |
| 306 | Unused | 已经被废弃的HTTP状态码 |
| 307 | Temporary Redirect | 临时重定向。与302类似。使用GET请求重定向 |
| 400 | Bad Request | 客户端请求的语法错误，服务器无法理解 |
| 401 | Unauthorized | 未授权（请求中未包含身份验证信息），请求要求用户的身份认证 |
| 402 | Payment Required | 保留，将来使用 |
| 403 | Forbidden | 服务器理解请求客户端的请求，但是拒绝执行此请求 |
| 404 | Not Found | 服务器无法根据客户端的请求找到资源（网页）。通过此代码，网站设计人员可设置"您所请求的资源无法找到"的个性页面 |
| 405 | Method Not Allowed | 客户端请求中的方法被禁止 |
| 406 | Not Acceptable | 服务器无法根据客户端请求的内容特性完成请求 |
| 407 | Proxy Authentication Required | 请求要求代理的身份认证，与401类似，但请求者应当使用代理进行授权 |
| 408 | Request Time-out | 服务器等待客户端发送的请求时间过长，超时 |
| 409 | Conflict | 服务器完成客户端的PUT请求是可能返回此代码，服务器处理请求时发生了冲突 |
| 410 | Gone | 客户端请求的资源已经不存在。410不同于404，如果资源以前有现在被永久删除了可使用410代码，网站设计人员可通过301代码指定资源的新位置 |
| 411 | Length Required | 服务器无法处理客户端发送的不带Content-Length的请求信息 |
| 412 | Precondition Failed | 客户端请求信息的先决条件错误 |
| 413 | Request Entity Too Large | 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息 |
| 414 | Request-URI Too Large | 请求的URI过长（URI通常为网址），服务器无法处理 |
| 415 | Unsupported Media Type | 服务器无法处理请求附带的媒体格式 |
| 416 | Requested range not satisfiable | 客户端请求的范围无效 |
| 417 | Expectation Failed | 服务器无法满足Expect的请求头信息 |
| 500 | Internal Server Error | 服务器内部错误，无法完成请求 |
| 501 | Not Implemented | 服务器不支持请求的功能，无法完成请求 |
| 502 | Bad Gateway | 充当网关或代理的服务器，从远端服务器接收到了一个无效的请求 |
| 503 | Service Unavailable | 由于超载或系统维护，服务器暂时的无法处理客户端的请求。延时的长度可包含在服务器的Retry-After头信息中 |
| 504 | Gateway Time-out | 充当网关或代理的服务器，未及时从远端服务器获取请求 |
| 505 | HTTP Version not supported | 服务器不支持请求的HTTP协议的版本，无法完成处理 |
- 200：请求正常，服务器正常的返回数据
- 301：永久重定向，比如在访问www.jingdong.com的时候会重定向到www.jd.com
- 302：临时重定向。比如在访问一个需要登录的页面上的时候，而此时没登陆，那么就会重定向到登录页面
- 400：请求的url在服务器上找不到
- 403：服务器拒绝访问，权限不够
- 500：服务器内部错误。可能是服务器出现bug了
Chrome抓包工具
网页右键检查
本文部分信息是转载，可以当做笔记看看