豆知识( DNS; HTTP入门；网络协议)

DNS服务器

通过DNS服务器，才能知道某个域名的IP地址到底是什么。

Linux系统里面，DNS服务器的IP地址保存在/etc/resolv.conf文件

使用工具软件dig可以查询：

$ dig math.stackexchange.com

域名的层级

名math.stackexchange.com显示为math.stackexchange.com.实际上省略了尾部root根域名。

www.example.com是3层域名：

com是top-level domain, example是second-level domain,

www是三级域名，这个用户可以在自己的域名里面为服务器分配任意的名字。

主机名.次级域名.顶级域名.根域名

# 即 host.sld.tld.root

根域名服务器

DNS服务器根据域名的层级，进行分级查询。

每一级域名都有自己的NS(Name server)域名服务器记录，NS记录指向该级域名的域名服务器。这些服务器知道下一级域名的各种记录。

从"根域名服务器"查到"顶级域名服务器"的NS记录和A记录（IP地址）
从"顶级域名服务器"查到"次级域名服务器"的NS记录和A记录（IP地址）
从"次级域名服务器"查出"主机名"的IP地址

NS 记录的查询

dig命令可以单独查看每一级域名的NS记录。

$ dig ns com
$ dig ns stackexchange.com

DNS的记录类型

域名与IP之间的对应关系，称为"记录"（record）。根据使用场景，"记录"可以分成不同的类型（type），前面已经看到了有A记录和NS记录。

二、HTTP/1.0

1996年5月，HTTP/1.0 版本发布，内容大大增加。

首先，任何格式的内容都可以发送： text ,image, video等等。

其次，引人POST, HEAD命令

再次，请求，回应格式变了，每次通信必须包括header信息。其他status code状态码，多字符集支持，缓存cache, 内容编码content encoding。

下面是一个1.0版的HTTP请求的例子。

GET / HTTP/1.0
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)
Accept: */*

2.3 回应格式

服务器的回应如下。


HTTP/1.0 200 OK 
Content-Type: text/plain
Content-Length: 137582
Expires: Thu, 05 Dec 1997 16:00:00 GMT
Last-Modified: Wed, 5 August 1996 15:55:28 GMT
Server: Apache 0.84 <html> <body>Hello World</body> </html>

2.4 Content-Type 字段

关于字符的编码，1.0版规定，头信息必须是 ASCII 码，后面的数据可以是任何格式。因此，服务器回应的时候，必须告诉客户端，数据是什么格式，这就是Content-Type字段的作用。常用类型：

text/plain
text/html
text/css
image/jpeg
image/png

这些数据类型总称MIME type，包括一级类型／二级类型。

2.5 Content-Encoding 字段

由于发送的数据可以是任何格式，因此可以把数据压缩后再发送。Content-Encoding字段说明数据的压缩方法。

客户端在请求时，用Accept-Encoding字段说明自己可以接受哪些压缩方法

Accept-Encoding: gzip, deflate

2.6 缺点

HTTP/1.0 版的主要缺点是，每个TCP连接只能发送一个请求。

发送数据完毕，连接就关闭。

TCP连接的新建成本很高，因为需要客户端和服务器三次握手，并且开始时发送速率较慢（slow start）。所以，HTTP 1.0版本的性能比较差。随着网页加载的外部资源越来越多，这个问题就愈发突出了。

为了解决这个问题，有些浏览器在请求时，用了一个非标准的Connection字段。

Connection: keep-alive

这个字段要求服务器不要关闭TCP连接，以便其他请求复用。服务器同样回应这个字段。

一个可以复用的TCP连接就建立了，但不是根本的解决方法。

三、HTTP/1.1

97年1月，HTTP/1.1 版本发布。直到现在还是最流行的版本。

3.1 持久连接

1.1 版的最大变化，就是引入了持久连接（persistent connection），客户端在最后一个请求时，发送Connection: close，明确要求服务器关闭TCP连接。

3.2 管道机制

1.1 版还引入了管道机制（pipelining），即在同一个TCP连接里面，客户端可以同时发送多个请求。这样就进一步改进了HTTP协议的效率。

3.4 分块传输编码Transfer-Encoding: chunked

使用Content-Length字段的前提条件是，服务器发送回应之前，必须知道回应的数据长度。

对于一些很耗时的动态操作来说，这意味着，服务器要等到所有操作完成，才能发送数据，显然这样的效率不高。更好的处理方法是，产生一块数据，就发送一块，采用"流模式"（stream）取代"缓存模式"。

3.5 其他功能

1.1版还新增了许多动词方法：PUT、PATCH、HEAD、 OPTIONS、DELETE

3.6 缺点

虽然1.1版允许复用TCP连接，但是同一个TCP连接里面，所有的数据通信是按次序进行的。服务器只有处理完一个回应，才会进行下一个回应。要是前面的回应特别慢，后面就会有许多请求排队等着。这称为"队头堵塞"（Head-of-line blocking）。

为了避免这个问题，只有两种方法：一是减少请求数，二是同时多开持久连接

五、HTTP/2

2015年，HTTP/2 发布。它不叫 HTTP/2.0，是因为标准委员会不打算再发布子版本了，下一个新版本将是 HTTP/3。

5.1 二进制协议

HTTP/1.1 版的头信息肯定是文本（ASCII编码），数据体可以是文本，也可以是二进制。HTTP/2 则是一个彻底的二进制协议，头信息和数据体都是二进制，并且统称为"帧"（frame）：头信息帧和数据帧。2进制解析更快。

5.2 多工 Multiplexing

HTTP/2 复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，而且不用按照顺序一一对应，这样就避免了"队头堵塞"。

举例来说，在一个TCP连接里面，服务器同时收到了A请求和B请求，于是先回应A请求，结果发现处理过程非常耗时，于是就发送A请求已经处理好的部分，接着回应B请求，完成后，再发送A请求剩下的部分。

这样双向的、实时的通信，就叫做多工（Multiplexing）。

5.3 数据流

因为 HTTP/2 的数据包是不按顺序发送的，同一个连接里面连续的数据包，可能属于不同的回应。因此，必须要对数据包做标记，指出它属于哪个回应。

客户端还可以指定数据流的优先级。优先级越高，服务器就会越早回应。

5.4 头信息压缩

HTTP 协议不带有状态，每次请求都必须附上所有信息。所以，请求的很多字段都是重复的，比如Cookie和User Agent，一模一样的内容，每次请求都必须附带，这会浪费很多带宽，也影响速度。

HTTP/2 对这一点做了优化，引入了头信息压缩机制（header compression）。

一方面，头信息使用gzip或compress压缩后再发送；另一方面，客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，以后就不发送同样字段了，只发送索引号，这样就提高速度了。

5.5 服务器推送

HTTP/2 允许服务器未经请求，主动向客户端发送资源，这叫做服务器推送（server push）。

常见场景是客户端请求一个网页，这个网页里面包含很多静态资源。正常情况下，客户端必须收到网页后，解析HTML源码，发现有静态资源，再发出静态资源请求。其实，服务器可以预期到客户端请求网页后，很可能会再请求静态资源，所以就主动把这些静态资源随着网页一起发给客户端了。

你应该知道的HTTP基础知识

https://www.jianshu.com/p/e544b7a76dac

HTTP请求报文格式
HTTP响应报文格式
Header
请求体的3种形式
推荐调试工具
HTTP的组成图示

1. HTTP请求报文格式

HTTP 的请求报文分为三个部分请求行、请求头和请求体，格式如图：

1.1 请求行

请求行（Request Line）分为三个部分：请求方法、请求地址 和 协议及版本，以CRLF(\r\n)结束。
HTTP/1.1 定义的请求方法有8种：GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS、TRACE,最常的两种GET和POST，如果是RESTful接口的话一般会用到GET、POST、DELETE、PUT。

3. Header

Header可用于传递一些附加信息，格式： 键: 值，注意冒号后面有一个空格！如：

Content-Length: 1024
Content-Type: text/plain

3.1 请求和响应常见通用Header

名称	作用
Content-Type	请求体/响应体的类型，如：text/plain、application/json
Accept	说明接收的类型，可以多个值，用`,`(半角逗号)分开
Content-Length	请求体/响应体的长度，单位字节
Content-Encoding	请求体/响应体的编码格式，如gzip,deflate
Accept-Encoding	告知对方我方接受的Content-Encoding
ETag	给当前资源的标识，和`Last-Modified`、`If-None-Match`、`If-Modified-Since`配合，用于缓存控制
Cache-Control	取值为一般为`no-cache`或`max-age=XX`，XX为个整数，表示该资源缓存有效期(秒)

3.2 常见request Header

名称	作用
Authorization	用于设置身份认证信息
User-Agent	用户标识，如：OS和浏览器的类型和版本
If-Modified-Since	值为上一次服务器返回的 `Last-Modified` 值，用于确认某个资源是否被更改过，没有更改过(304)就从缓存中读取
If-None-Match	值为上一次服务器返回的 ETag 值，一般会和`If-Modified-Since`一起出现
Cookie	已有的Cookie
Referer	表示请求引用自哪个地址，比如你从页面A跳转到页面B时，值为页面A的地址
Host	请求的主机和端口号

3.3 常见response Header

名称	作用
Date	服务器的日期
Last-Modified	该资源最后被修改时间
Transfer-Encoding	取值为一般为chunked，出现在Content-Length不能确定的情况下，表示服务器不知道响应版体的数据大小，一般同时还会出现`Content-Encoding`响应头
Set-Cookie	设置Cookie
Location	重定向到另一个URL，如输入浏览器就输入baidu.com回车，会自动跳到 https://www.baidu.com ，就是通过这个响应头控制的
Server	后台服务器

4. 请求体的3种形式

根据应用场景的不同，HTTP请求的请求体有三种不同的形式。

第一种：

移动开发者常见的，请求体是任意类型，服务器不会解析请求体，请求体的处理需要自己解析，如 POST JSON时候就是这类。

第二种：

第二种和第三种都有固定格式的，是服务器端开发人员最先了解到的两种。这里的格式要求就是：

URL中Query String的格式要求：多个键值对之间用&连接，键与值之前用=连接，且只能用ASCII字符，非ASCII字符需使用UrlEncode编码。

第三种：

第三种请求体的请求体被分成为多个部分，文件上传时会被使用，这种格式最先应该是被用于邮件传输中，每个字段/文件都被boundary（Content-Type中指定）分成单独的段，每段以-- 加 boundary开头，然后是该段的描述头，描述头之后空一行接内容，请求结束的标制为boundary后面加--，结构见下图：

区分是否被当成文件的关键是Content-Disposition是否包含filename，因为文件有不同的类型，所以还要使用Content-Type指示文件的类型，如果不知道是什么类型取值可以为application/octet-stream表示该文件是个二进制文件，如果不是文件则Content-Type可以省略。

下图为一个带有文件的上传的请求体原文：

⚠️

第二、三种请求体需求配合特定的Content-Type请求头，如：
第二种配合Content-Type：application/x-www-form-urlencoded
第三种配合Content-Type： multipart/form-data; boundary={boundary} ，
*上面的form-data也可以是mixed、alternative、digest、parallel，但我只用到了form-data
如果两者没有相配合，那么服务器不会解析请求体，也就是说只会当成第一种情况！

表单或者模拟表单 指的就是第二种和第三种(multipart/form-data)

5. 推荐调试工具

5.1 cURL

cURL 相当强大命令行工具，基本上你知道的上层协议它都支持，具体使用方法就自行发现了，下图为发起一个HTTP GET请求并打印请求和响应的详细内容。

cURL截图

5.2 bat

bat 是astaxie(谢孟军) 用Golang开发的类似cURL的命令行API调试工具,可以方便的打印出HTTP请求和响应，还能高亮Header、格式化JSON等功能，非常好用，API调式神器。

bat截图

5.3 nc

nc 是 netcat 的简写，被称为“网络工具中的瑞士军刀”，不过我个人是把它当成Socket用，经常使用它来打印各种请求，当然它的作用可不只是这样，你也可以用它发起各式各样的请求，以前调式POP3也是用的它，只不过请求报文得自己写，上面有个图“HTTP请求和响应”就是用nc完成的。