flannel通信方式
目前比较成熟的flannel网络通信方式有UDP、VXLAN以及host-gw三种方式。
flannel的UDP通信方式
flannel作为一种overlay网络，而overlay的意思就是数据报文装在另一种网络包里，然后进行路由转发和通信。对于UDP通信方式来说，就是报文在进入实际物理网络之前，经过flannel，进行一层UDP封装，将报文作为payload发送给对端；对端收到UDP报文之后，flannel负责解包，得到真正的用户报文后，再转到真正的接收方。
总的来说，flannel跨主机通信的一系列的流程都可以用下面的一张图说明，
我们以发送icmp报文为例：
1、容器A发出ICMP请求报文：10.3.3.2 -> 10.3.83.2，根据容器A内的路由表，报文将发送到网关10.3.3.1，即docker0设备。
[root@container-a /]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.3.3.1 0.0.0.0 UG 0 0 0 eth0
10.3.3.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
2、此时docker0再根据主机A上的路由表，报文将送到flannel0设备(10.3.3.0)。
[root@HOST-A ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.52.2 0.0.0.0 UG 100 0 0 ens33
10.3.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0
10.3.3.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0
192.168.52.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
3、flannel0是一个tun设备，工作在三层，因此flannel0接收到的是一个RAW IP包(无MAC信息)。随后，flanneld进程将接收报文，然后通过查询etcd数据库，根据目的容器IP，确定目的主机IP，最后进行UDP的封包。加上8个字节的UDP头，再加上20个字节的IP头：192.168.52.129:8285 -> 192.168.52.145:8285，发送给对端目标主机的flanneld进程。正是因为封包的UDP头和IP头，flannel网络设备的MTU为1472(1500-28)，避免因为数据报文超过ens33的MTU而丢包。
flannel0: flags=4305<UP,POINTOPOINT,RUNNING,NOARP,MULTICAST> mtu 1472
4、flanneld进程将打包好的UDP报文根据主机路由表发往ens33网卡。
5、主机A通过ens33网卡将UDP报文通过网络传输到主机B的ens33网卡。
6、主机B查询报文目的端口为8285(flanneld监听端口)，因此将报文递交给flanneld进程。
[root@HOST-B /]# netstat -anup | grep flanneld
udp 0 0 192.168.52.145:8285 0.0.0.0:* 2778/flanneld
7、flanneld进程将报文解包，得到真正的ICMP请求报文：10.3.3.2 -> 10.3.83.2。
8、flannel0设备根据目标ip 10.3.83.2，匹配主机B的路由表，将解包后的报文递交给docker0。
[root@HOST-B /]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.52.2 0.0.0.0 UG 0 0 0 ens33
10.3.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0
10.3.83.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0
192.168.52.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
9、docker0最终将报文提交给容器B，10.3.83.2，处理完ICMP请求报文后，原路径发送ICMP应答报文。
抓包分析
根据上面的分析，我们可以通过tcpdump在各个网络接口上抓包，验证我们的分析。
我们同样以ICMP报文为例，
1、容器A -> veth
我们在主机A的vethb5898d1 抓取icmp报文，
[root@HOST-A ~]# tcpdump -i vethb5898d1 -p icmp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vethb5898d1, link-type EN10MB (Ethernet), capture size 262144 bytes
22:34:07.067929 IP 10.3.3.2 > 10.3.83.2: ICMP echo request, id 32, seq 1, length 64
22:34:07.069460 IP 10.3.83.2 > 10.3.3.2: ICMP echo reply, id 32, seq 1, length 64
可以看到， IP 10.3.3.2 > 10.3.83.2发起了icmp请求报文，然后收到对端的应答。
2、veth -> docker0
我们在主机A的docker0设备上抓取报文，
[root@HOST-A ~]# tcpdump -i docker0 -p icmp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes
22:37:36.997615 IP 10.3.3.2 > 10.3.83.2: ICMP echo request, id 33, seq 1, length 64
22:37:37.000023 IP 10.3.83.2 > 10.3.3.2: ICMP echo reply, id 33, seq 1, length 64
和在veth上抓取的报文是一样的，因为docker0只是转发报文，并没有做封装操作。
3、docker0 -> flannel0
在flannel0设备上抓包，
[root@HOST-A ~]# tcpdump -i flannel0 -p icmp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on flannel0, link-type RAW (Raw IP), capture size 262144 bytes
22:39:30.628099 IP 10.3.3.0 > 10.3.83.2: ICMP echo request, id 34, seq 1, length 64
22:39:30.628666 IP 10.3.83.2 > 10.3.3.0: ICMP echo reply, id 34, seq 1, length 64
走到flannel0也还未封装，真正的封装是在flanneld进程中。但是我们发现这里源IP地址变化了，容器内的IP是10.3.3.2。这是因为系统对源IP进行了伪装，我们可以查看系统的iptables规则，在nat的POSTROUTING链中有以下规则，
*nat
......
-A POSTROUTING -s 10.3.3.0/24 ! -o docker0 -j MASQUERADE
所以从flannel0出来后源IP地址就变成了flannel0的地址。这样就隐藏了后端容器的IP，更为安全。当然也可以删除这条规则，并不会影响网络的通信。
4、flanneld进程 -> ens33
没办法在flannld进程上抓包，因此我们直接在ens33中抓包。此时因为已经经过flanneld进程的UDP封装，因此无法抓取icmp报文，只能抓取UDP报文。
[root@HOST-A ~]# tcpdump -i ens33 -p udp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
23:16:44.689161 IP 192.168.52.129.8285 > 192.168.52.145.8285: UDP, length 84
23:16:44.689588 IP 192.168.52.145.8285 > 192.168.52.129.8285: UDP, length 84
可以看到UDP报文发往HOST B的8285端口，也就是flanneld进程。
我们可以将抓取的报文通过wireshark分析，
在报文的数据段，我们可以找到封装的容器内部IP信息，即10.3.3.0 > 10.3.83.2。