RFC：https://tools.ietf.org/html/rfc7348
原文：https://blog.csdn.net/octopusflying/article/details/77609199
文档rfc7348详细地介绍了VXLAN的实现机制。本质上VXLAN是一种隧道技术。通过将虚拟网络中的数据帧封装在实际物理网络中的报文中进行传输。具体实现方式为：将虚拟网络的数据帧添加VXLAN首部后，封装在物理网络中的UDP报文中，然后以传统网路络的通信方式传送该UDP报文，到达目的主机后，去掉物理网络报文的头部信息以及VXLAN首部，将报文交付给目的终端。整个通信过程目的终端不会感知到物理网络的存在。
利用VXLAN技术组网的方法可以用下图来描述：
图中两台终端T1和T2位于不同的网络中，二者通过路由器来实现互通，通过VXLAN可以使得这两台终端在“逻辑上”位于“同一个”链路层网络中而与两台终端直接相连的路由器也在逻辑上构建了一条在虚拟链路中的通道vxlan tunnel，这样的路由器我们称之为“vxlan隧道终端”(VXLAN Tunnel End Point, VTEP)。在包含VXLAN的网络中，VXLAN的实现机制仅仅对VTEP节点可见。
需要说明的是，VTEP节点可以由实现了VXLAN功能的交换机、路由器等硬件设备充当，但在更多的基于虚拟化技术实现的网络拓扑的应用中，VTEP节点的角色更多由部署了多台虚拟机的主机中的hypervisor进程来担任，如下图：
接下来介绍VXLAN的通信原理。VXLAN通过将逻辑网络中通信的数据帧封装在物理网络中进行传输，封装和解封装的过程由VTEP节点完成。VXLAN将逻辑网络中的数据帧添加VXLAN首部后，封装在物理网络中的UDP报文中传送，VXLAN首部的格式如下：
VXLAN首部由8个字节组成，第1个字节为标志位，其中标志位I设为1表示是一个合法的VXLAN首部，其余标志则保留，在传输过程中必须置为0；第2-4字节为保留部分，第5-7字节为VXLAN标识符，用来表示唯一的一个逻辑网络；第8个字节同样为保留字段，暂未使用。
VXLAN传输过程中，将逻辑链路网络的数据帧添加VXLAN首部后，依次添加UDP首部，IP首部，以太网帧首部后，在物理网络中传输，数据帧的封装格式可以用下图来描述：
需要注意的是，外部UDP首部的目的端口号为4789，该数值为默认VXLAN解析程序的端口，外层IP首部中的源IP和目的IP地址均填写通信双方的VTEP地址，协议的其余部分和传统网络相同。
利用VXLAN技术组网的方法可以用下图来描述：
需要说明的是，VTEP节点可以由实现了VXLAN功能的交换机、路由器等硬件设备充当，但在更多的基于虚拟化技术实现的网络拓扑的应用中，VTEP节点的角色更多由部署了多台虚拟机的主机中的hypervisor进程来担任，如下图：
VXLAN传输过程中，将逻辑链路网络的数据帧添加VXLAN首部后，依次添加UDP首部，IP首部，以太网帧首部后，在物理网络中传输，数据帧的封装格式可以用下图来描述：
·通信过程
下面简要说明VXLAN网络中的通信过程。对于处于同一个VXLAN的两台虚拟终端，其通信过程可以概括为如下的步骤：① 发送方向接收方发送数据帧，帧中包含了发送方和接收方的虚拟MAC地址。② 发送方连接的VTEP节点收到了数据帧，通过查找发送方所在的VXLAN以及接收方所连接的VTEP节点，将该报文添加VXLAN首部、外部UDP首部、外部IP首部后，发送给目的VTEP节点。③ 报文经过物理网络传输到达目的VTEP节点。④ 目的VTEP节点接收到报文后，拆除报文的外部IP首部和外部UDP首部，检查报文的VNI以及内部数据帧的目的MAC地址，确认接收方与本VTEP节点相连后，拆除VXLAN首部，将内部数据帧交付给接收方。⑤ 接收方收到数据帧，传输完成。
通过以上的步骤可以看出：VXLAN的实现细节以及通信过程对于处于VXLAN中的发送方和接收方是不可见的，基于发送方和接收方的视角，其通信过程和二者真实处于同一链路层网络中的情况完全相同。
以上通信方式可以用下图来描述：
(1) 将虚拟网络通信的数据帧添加VXLAN头部和外部UDP和IP首部。
(2) 将封装好的数据包转发给正确的VTEP节点。
(3) 收到其他VTEP发来的VXLAN报文时，拆除外部IP、UDP以及VXLAN首部，然后将内部数据包交付给正确的终端。
对于功能(1)和(3)只要按照上文中给出的封装和拆解规则进行处理即可，这里主要说明功能(2)的实现，即VXLAN数据包的转发过程。当VTEP节点收到一个VXLAN数据包时，需要根据内部以太网帧的目的MAC地址找到与拥有该目的地址的终端直接相连的VTEP地址，因此，这里需要一个目的MAC地址和VTEP节点IP地址的映射关系，VTEP节点利用一个转发表来存储此映射关系。转发表的格式为：<VNI, Inner Dst MAC, VTEP IP>，即给定VNI和目的MAC地址后映射到一个VTEP IP地址。
需要说明的是，映射VTEP节点IP地址时，之所以需要VNI的信息，是因为当存在多租户的情况下，各个租户将会独立组网，此时，多个租户设定的MAC地址有一定的概率会出现重叠，此时我们必须保证每个租户的网络都能独立地正常通信，因此，在为每个租户配置唯一的一个VNI的情况下，给定VNI和目的MAC地址，唯一确定一个VTEP地址。
下图是一个样例，对于下图中的网络拓扑，分别给出了两个VTEP节点的转发表：
上图中给出了6个终端，分别属于2个租户，其中，终端T1、T2和T4属于租户1，分配VNI为1，终端T3、T5和T6属于租户2，分配VNI为2，两个VTEP节点的转发表已在图中给出。
每一个VTEP节点都必须拥有完整的转发表才可以正确地进行转发的功能，转发表的学习过程可以基于这样一种简单的策略：通过ARP报文学习，当收到终端发送的数据帧时，首先根据收到数据的端口判定数据发送方的VNI值，根据VNI和数据帧中的目的MAC查找对应的VTEP节点，如果查找成功，则转发，否则，在当前VXLAN网络中广播ARP请求报文，这样，连接目的MAC终端的VTEP节点就会发送ARP回答报文，这样就学习到了新的转发表项。
需要说明的是，在多租户的环境下，基于信息安全等因素，各个租户的流量必须实现隔离，因此在发送广播ARP请求报文时，不可以直接在多租户的环境中广播，必须保证只有当前VXLAN网络的终端可以收到广播报文，因此，和物理网络中的ARP广播请求的实现有所不同，这里需要通过IP组播机制来模拟广播，IGMP等相关组播协议这里会用到。
因此，VTEP节点还需要保存对应于每个租户的VNI值的组播域，即对于每一个VNI值，存储包含当前VXLAN网络中终端的所有VTEP节点的IP，用于ARP广播时的组播操作。对于上文中的网络拓扑，两个VTEP的广播表如下图：
最后，当一个VTEP节点收到其他VTEP节点的ARP请求报文时，需要在自己连接的虚拟网络中发送，此时，仅仅发送给当前VNI对应的终端，因此，VTEP中还需要保存当前接入设备的VXLAN网络情况，因此，上图中还给出了每个VTEP节点的设备表，该表中记录了每个VNI对应的设备。这样，当需要广播ARP请求时，首先根据设备表将ARP请求报文发送给VNI值对应的设备，然后根据广播表，将ARP请求发给VNI值对应的VTEP节点；而当收到其他VTEP节点发来的ARP请求时，根据设备表转发给对应的终端即可。这样就实现了基于ARP请求的VTEP转发的学习。而对于广播表，在VTEP配置组网时可以完成设置，对于设备表，则在终端接入VTEP时可以完成配置，得到广播表和设备表后，转发表可以基于ARP的通信中逐步学习和构建。
(1) 24位长度的VNI字段值可以支持更多数量的虚拟网络，解决了VLAN数目上限为4094的局限性的问题。
(2) VXLAN技术通过隧道技术在物理的三层网络中虚拟二层网络，处于VXLAN网络的终端无法察觉到VXLAN的通信过程，这样也就使得逻辑网络拓扑和物理网络拓扑实现了一定程度的解耦，网络拓扑的配置对于物理设备的配置的依赖程度有所降低，配置更灵活更方便。
(3) VLAN技术仅仅解决了二层网络广播域分割的问题，而VXLAN技术还具有多租户支持的特性，通过VXLAN分割，各个租户可以独立组网、通信，地址分配方面和多个租户之间地址冲突的问题也得到了解决。
为了保证VXLAN机制通信过程的正确性，rfc7348标准中规定，涉及到VXLAN通信的IP报文一律不允许分片，这就要求物理网络的链路层实现中必须提供足够大的MTU值，保证VXLAN报文的顺利传输，这一点可以理解为当前VXLAN技术的局限性。
以上通信方式可以用下图来描述：
其中VTEP2中收到的报文和VTEP1中发送的报文相同，接受者收到的报文和发送者发出的报文也完全相同，这里为了便于描述，图中将其略去。
需要说明的是，VTEP1同样需要将上述封装好的IP报文封装在以太网帧中才能进行传输，这里称之为“外层以太网帧(Outer Ethernet Frame)”,外层以太网帧中数据字段值取决于实际物理网络的实现，因此笔者为在图中给出。在VXLAN的实际实现中，VTEP1和VTEP2可以处于不同的物理网络中，只要保证VTEP1和VTEP2可以通信即可，而对于二者通信所经过的路径，我们不必关心。
需要说明的是，VTEP1同样需要将上述封装好的IP报文封装在以太网帧中才能进行传输，这里称之为“外层以太网帧(Outer Ethernet Frame)”,外层以太网帧中数据字段值取决于实际物理网络的实现，因此笔者为在图中给出。在VXLAN的实际实现中，VTEP1和VTEP2可以处于不同的物理网络中，只要保证VTEP1和VTEP2可以通信即可，而对于二者通信所经过的路径，我们不必关心。
·VTEP节点工作机制
通过以上通信步骤的描述可以看到，VTEP节点在VXLAN网络通信中起到了至关重要的作用。在VXLAN网络通信中，VTEP节的职责主要有3项：(1) 将虚拟网络通信的数据帧添加VXLAN头部和外部UDP和IP首部。
(2) 将封装好的数据包转发给正确的VTEP节点。
(3) 收到其他VTEP发来的VXLAN报文时，拆除外部IP、UDP以及VXLAN首部，然后将内部数据包交付给正确的终端。
对于功能(1)和(3)只要按照上文中给出的封装和拆解规则进行处理即可，这里主要说明功能(2)的实现，即VXLAN数据包的转发过程。当VTEP节点收到一个VXLAN数据包时，需要根据内部以太网帧的目的MAC地址找到与拥有该目的地址的终端直接相连的VTEP地址，因此，这里需要一个目的MAC地址和VTEP节点IP地址的映射关系，VTEP节点利用一个转发表来存储此映射关系。转发表的格式为：<VNI, Inner Dst MAC, VTEP IP>，即给定VNI和目的MAC地址后映射到一个VTEP IP地址。
需要说明的是，映射VTEP节点IP地址时，之所以需要VNI的信息，是因为当存在多租户的情况下，各个租户将会独立组网，此时，多个租户设定的MAC地址有一定的概率会出现重叠，此时我们必须保证每个租户的网络都能独立地正常通信，因此，在为每个租户配置唯一的一个VNI的情况下，给定VNI和目的MAC地址，唯一确定一个VTEP地址。
下图是一个样例，对于下图中的网络拓扑，分别给出了两个VTEP节点的转发表：
每一个VTEP节点都必须拥有完整的转发表才可以正确地进行转发的功能，转发表的学习过程可以基于这样一种简单的策略：通过ARP报文学习，当收到终端发送的数据帧时，首先根据收到数据的端口判定数据发送方的VNI值，根据VNI和数据帧中的目的MAC查找对应的VTEP节点，如果查找成功，则转发，否则，在当前VXLAN网络中广播ARP请求报文，这样，连接目的MAC终端的VTEP节点就会发送ARP回答报文，这样就学习到了新的转发表项。
需要说明的是，在多租户的环境下，基于信息安全等因素，各个租户的流量必须实现隔离，因此在发送广播ARP请求报文时，不可以直接在多租户的环境中广播，必须保证只有当前VXLAN网络的终端可以收到广播报文，因此，和物理网络中的ARP广播请求的实现有所不同，这里需要通过IP组播机制来模拟广播，IGMP等相关组播协议这里会用到。
因此，VTEP节点还需要保存对应于每个租户的VNI值的组播域，即对于每一个VNI值，存储包含当前VXLAN网络中终端的所有VTEP节点的IP，用于ARP广播时的组播操作。对于上文中的网络拓扑，两个VTEP的广播表如下图：
todo
·VXLAN网关
接下来简要说明一下VXLAN网关节点。VXLAN网关节点适用于这样一种应用场景：当一台处于VXLAN网络中的终端要和一台处于非VXLAN网络中的节点进行通信时，由于VXLAN网络中的终端使用的都是虚拟网络地址，而非VXLAN中的设备使用的是实际的物理地址，此时，VXLAN网关将起到地址转换的作用，通信时，临时将VXLAN终端的虚拟地址转换为物理地址，然后再与外网进行通信。地址转换的方式可基于NAT机制。关于VXLAN网关的实现详细细节，笔者暂不明白，因此，这里仅简要描述。·VXLAN技术的优势和局限性
相比VLAN技术，VXLAN技术具有以下的优势：(1) 24位长度的VNI字段值可以支持更多数量的虚拟网络，解决了VLAN数目上限为4094的局限性的问题。
(2) VXLAN技术通过隧道技术在物理的三层网络中虚拟二层网络，处于VXLAN网络的终端无法察觉到VXLAN的通信过程，这样也就使得逻辑网络拓扑和物理网络拓扑实现了一定程度的解耦，网络拓扑的配置对于物理设备的配置的依赖程度有所降低，配置更灵活更方便。
(3) VLAN技术仅仅解决了二层网络广播域分割的问题，而VXLAN技术还具有多租户支持的特性，通过VXLAN分割，各个租户可以独立组网、通信，地址分配方面和多个租户之间地址冲突的问题也得到了解决。
为了保证VXLAN机制通信过程的正确性，rfc7348标准中规定，涉及到VXLAN通信的IP报文一律不允许分片，这就要求物理网络的链路层实现中必须提供足够大的MTU值，保证VXLAN报文的顺利传输，这一点可以理解为当前VXLAN技术的局限性。