今天分享的内容其实不单止区块链适用，很多需要分布式组网的场景下同样适用（只是我们在区块链场景下碰到了而已）。所以究竟放在Docker系列还是区块链系列我还真有点犹豫…至于某些博客中我是没有写区块链相关的内容的，其实不是我不想写只是过不了审发布不了而已。
言归正传，由于我们整个HyperLedger Besu区块链集群都是基于Docker搭建的，因此Docker异地组网是一个必须解决的问题。在调研期间找到的三种解决方法，
- 使用Consul集群实现。Consul会使用自己的通讯协议，通过配置Docker的daemon.json用cluster-store参数来实现通讯（填写配置的时候需要绑定本机网卡）。这种方式需要额外部署高可用的Consul集群且需要与Docker进行强绑定；
- 使用ETCD组网。虽然原理跟Consul一样但由于ETCD由C语言编写性能上会比Consul更出色。但由于本人能力有限搞了一阵子没搞定所以最终放弃了ETCD的实现方式；
- 使用Docker Swarm组网。Docker从1.12.0版本开始这个Swarm模式就可以使用，只需做小小的调整即可实现；
综上对比，Swarm简单、易用且与Docker无缝结合是我选择它的最主要原因。考虑到后期还会有其他节点接入且接入方式不可控（有可能是云服务器，有可能是本地机房服务器），这就要求组网难度必须要低且可靠性强，Swarm完全能够满足我当前的需要。
1. Docker Swarm原理
从上图可以看出Docker Swarm提供了Cluster（集群管理模式）、node discovery(服务发现)、scheduler（滚动更新）等服务。其中通过服务发现能够记录到节点之间的访问地址，继而通过负载均衡自动寻址实现容器内部通讯。
2. Docker Swarm异地组网
异地组网达成标准为必须要求异地服务器能通过Docker容器内分配的IP相互“通讯”（本例则以“能ping通”作为达成通讯目标）。在这里我不会花篇幅去详细说明Swarm网络中LB转发和寻址的问题也不会深入overlay网络进行详解，这些网上一大把。我只分享能够立刻看到效果的东西就好…
2.1 服务器信息
为了验证Docker Swarm的可行性，本次例子采用了四台VM来做模拟
| 机器名称 | 机器ip | 使用系统 | Docker版本 |
|---|---|---|---|
| node202 | 192.168.200.202 | CentOS | 18.09.3 |
| node203 | 192.168.200.203 | CentOS | 18.06.3-ce |
| node204 | 192.168.200.204 | CentOS | 18.06.3-ce |
| node205 | 192.168.200.205 | CentOS | 18.06.3-ce |
以上四台VM都是通过桥接来对局域网通讯的，这里做验证的情况下我们就先不考虑公网IP之间能否通讯的问题，如果服务器之间连最基本的通讯都无法实现的话就不用考虑组网问题了。
2.2 创建Swarm网络
这里使用node203作为主网络服务器，使用ssh登录服务器后执行
docker swarm init --advertise-addr 192.168.200.203
执行上面的语句后会得到其他工作节点加入需要命令
docker swarm join --token SWMTKN-1-5trsmvw8zfd84gxg9a71akao9hi0ro3tus6v2t8c2i0c9qtoi0-268axfn4r939lvj699whwiw7r 192.168.200.203:2377
若这命令丢失了的话可以在203机器上执行下面语句重新生成
docker swarm join-token manager
接下来将“docker swarm join --token”这段命令在需要成为节点的服务器中执行，全部执行后可以在node203服务器中通过docker node ls命令查看到节点加入情况，如下所示：
root@node203:/home/paohe/Documents/blockchain/vault/config# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
swnvjvsxfeirdlaujbaznxhts node202 Ready Active 18.09.3
zb3nif68me9mvm0go3l2agkk7 * node203 Ready Active Leader 18.06.3-ce
uk65wbkadgg6mwzk9h1yspdw4 node204 Ready Active 18.06.3-ce
zx1elhm4oihcqm0bgggt2y283 node205 Ready Active 18.06.3-ce
所需组网服务器都加入后通过docker network ls能够看到node203服务器上多了一个名为ingress的overlay网络，如下图：
root@node203:~# docker network ls
NETWORK ID NAME DRIVER SCOPE
f5a6b27119ef bridge bridge local
e1902557eda0 docker_gwbridge bridge local
c5ad4fc3d434 host host local
u5vjecempood ingress overlay swarm
f96d226b8f69 none null local
75f6834bc0cf prometheus_default bridge local
173d62c10b82 vault_default bridge local
在这之后就能够创建自定义的Swarm网络了。
2.3 验证Overlay网络可用性
为了进一步验证Swarm网络的可用性，建立另一个overlay（覆盖网络）进行验证：
docker network create \
-d overlay \
--subnet=192.18.0.0/24 \
--gateway=192.18.0.254 \
--attachable besu_swarm
执行上面语句创建了一个名为besu_swarm的overlay网络并且设定了子网段范围从192.18.0.0开始，网关为192.18.0.254。在node203服务器执行docker network ls查看自定义网络besu_swarm，并且由于创建的是基于Swarm的overlay网络，因此node203服务器在创建besu_swarm后，自定义网络信息会同步到其他服务器中，如下所示：
root@node203:~# docker network ls
NETWORK ID NAME DRIVER SCOPE
z2w4r5fo1588 besu_swarm overlay swarm
f5a6b27119ef bridge bridge local
e1902557eda0 docker_gwbridge bridge local
c5ad4fc3d434 host host local
u5vjecempood ingress overlay swarm
f96d226b8f69 none null local
75f6834bc0cf prometheus_default bridge local
网络创建后要验证子网IP是否可互相访问，为此需要下载一个busybox镜像并启动。如下所示：
docker pull busybox:latest
docker run -itd --name=busybox1 --network=besunetwork busybox:latest /bin/sh
通过docker network inspect besu_swarm能够查看到busybox1的ip地址，busybox1的ip地址为192.18.0.1。接着如法炮制，在其他服务器也以同样的方式启动busybox2、busybox3、busybox4并且查看其ip地址，下图以busybox2为例如下图所示：
显示当前busybox2的ip地址是192.18.0.3。最后通过docker exec -it $containerid sh进入到busybox容器内部，执行ping命令查看容器内部是否互通。下面以busybox1和busybox2为例，如下图所示：
例1：busybox1 ping通 busybox2
例2：busybox2 ping通 busybox1
如上图所示，双方都可以通过子网ip实现互ping，至此异地组网已完成。