docker中的使用Consul、docker-compose、Consul-template、registrator搭建Consul集群（图文详情！）

docker中的使用Consul、docker-compose、Consul-template、registrator搭建Consul集群

环境准备：

服务器：192.168.2.8 Docker-ce 、Compose、Consul、Consul-template
服务器：192.168.2.9 Docker-ce 、registrator
后来添加Consul多节点的时候会增加一个节点
服务器：192.168.2.7 Docker-ce 、Compose、Consul

实验需求：

实现单机网络下容器与容器之间互通
搭建Consul服务实现服务实现自动发现和更新
实现Consul服务高可用

一、部署Consul服务器

Consul服务器：192.168.2.8

//把consul_0.9.2_linux_amd64.zip拖进来
mkdir /root/consul
cp consul_0.9.2_linux_amd64.zip /root/consul
cd /root/consul
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/bin
cd /usr/bin
//把docker-compose包拖进来
chmod +x docker-compose

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.2.8 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

执行完可以用jobs查看，正在运行中

//查看集群信息
consul members 
consul info | grep leader

//通过http api获取集群信息
curl 127.0.0.1:8500/v1/status/peers //查看集群server成员
curl 127.0.0.1:8500/v1/status/leader //集群 Raf leader
curl 127.00.1:8500/v1/catalog/services //注册的所有服务
curl 127.0.0.1:8500/v1/catalog/nginx //查看 nginx 服务信息
curl 127.0.0.1:8500/v1/catalog/nodes //集群节点详细信息

二、部署容器服务自动加入nginx集群

服务器：192.168.2.9

1.安装Gliderlabs/Registrator Gliderlabs/Registrator

可检查容器运行状态自动注册，还可注销docker容器的服务到服务配置中心.
目前支持Consul、Etcd（也是分布式存储）和SkyDNS2.
在192.168.2.9节点。执行以下操作:

docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=192.168.2.9 \
consul://192.168.2.8:8500

docker images //查看生成的镜像
docker ps -a //查看开启的容器

2.测试服务发现功能是否正常

服务器：192.168.2.9

docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
docker run -itd -p:88:80 --name test-03 -h test03 httpd
docker run -itd -p:89:80 --name test-04 -h test04 httpd

docker ps -a

3.验证http和nginx服务是否注册到consul

浏览器输入http://192.168.2.8:8500，“单击NODES”，
然后单击“consurl-server01”，会出现5个服务

Consul服务器：192.168.2.8
在consul服务器上查看服务

curl 127.0.0.1:8500/v1/catalog/services

4.安装consul-template

Consul-Template是一个守护进程，用于实时查询 Consul集群信息，
并更新文件系统上任意数量的指定模板，生成配置文件。更新完成以后，
可以选择运行shell命令执行更新操作，重新加载 Nginx。Consul-Template
可以查询Consul中的服务目录、Key、Key-values等。
这种强大的抽象功能和查询语言模板可以使Consul-Template特别适合动态的
创建配置文件。例如:创建Apache/Nginx Proxy Balancers、Haproxy Backends

5.准备template nginx模板文件

Consul服务器：192.168.2.8
//在consul上操作

vim /root/consul/nginx.ctmpl
upstream http_backend {
    
    
 {
    
    {
    
    range service "nginx"}}
 server {
    
    {
    
    .Address}}:{
    
    {
    
    .Port}};
 {
    
    {
    
    end}}
}
server {
    
    
 listen 83;
 server_name localhost 192.168.2.8;
 access_log /var/log/nginx/mhh.cn-access.log;
 index index.html index.php;
 location / {
    
    
 proxy_set_header HOST $host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header Client-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_pass http://http_backend;
 }
}

注：最终会按此模板来生成配置文件

6.编译安装nginx

Consul服务器：192.168.2.8

yum install gcc pcre-devel zlib-devel -y
tar zxvf nginx-1.12.0.tar.gz -C /opt
cd /opt
./configure --prefix=/usr/local/nginx
make && make install

7.配置nginx

Consul服务器：192.168.2.8

vim /usr/local/nginx/conf/nginx.conf
http {
    
    
	include	mime.types;
	include vhost/*.conf; //添加虚拟主机目录
	default_type application/octet-stream;

//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
//创建日志文件目录
mkdir /var/log/nginx  
//启动nginx
/usr/local/nginx/sbin/nginx
netstat -natp | grep nginx

8.配置并启动template

Consul服务器：192.168.2.8
上传consul-template_0.19.3_linux_amd64.zip包到/root/consul目录下

cp consul-template_0.19.3_linux_amd64.zip /root/consul
cd /root/consul
unzip consul-template_0.19.3_linux_amd64.zip
mv consul-template /usr/bin/
consul-template -consul-addr 192.168.2.8:8500 \
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info

//另外打开一个终端查看生成配置文件
Consul服务器：192.168.2.8
就是/usr/local/nginx/conf/vhost目录下的mhh.conf

cd /usr/local/nginx/conf/vhost
ls
vim mhh.conf

9.增加一个nginx容器节点

服务器：192.168.2.9
增加一个nginx容器节点。测试服务发现及配置更新功能
//在registrator服务端注册

docker run -itd -p:85:80 --name test-05 -h test05 nginx

浏览器输入http://192.168.2.8:8500，“单击NODES”，
然后单击“consurl-server01”，会发现增加了一个服务器

Consul服务器：192.168.2.8
在consul服务器监控装填会有提示自动更新

2021/03/26 12:03:16.909869 [INFO] (runner) initiating run
2021/03/26 12:03:16.910975 [INFO] (runner) rendered "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/mhh.conf"
2021/03/26 12:03:16.910993 [INFO] (runner) executing command "/usr/local/nginx/sbin/nginx -s reload" from "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/mhh.conf"
2021/03/26 12:03:16.911091 [INFO] (child) spawning: /usr/local/nginx/sbin/nginx -s reload

再次查看vhost下的mhh.conf配置文件

就算停止任意一个nginx容器，配置文件也会跟着改动，这里不再演示
l服务器：192.168.2.9
查看三台nginx容器日志
发现所有nginx节点已经被nginx做成了负载均衡，负载均衡访问的是nginx容器，且请求正常轮询到各个容器节点上，容器的添加或删除都会直接修改vhost目录下的配置文件

docker logs -f test-01
docker logs -f test-02
docker logs -f test-05

访问192.168.2.8:83即nginx提供服务的端口
可以反复刷新网页，观察三个nginx容器日志

查看日志访问IP为192.168.2.8

三、部署consul多节点

新加Consul服务器：192.168.2.7

//添加一台已有docker环境的服务器192.168.2.7/24加入已有的群集中

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.2.7 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-checks=true \
-datacenter=dc1 \
-join 192.168.2.8 &> /var/log/consul.log &

-enable-script-checks=true:设置检查服务为可用
-datacenter:数据中心名称
-join:加入到已有的集群中

再次在浏览器端登录192.168.2.8:8500或者直接刷新界面