Docker实现服务发现

Docker + Consul + registrator实现服务发现

Consul：分布式、高可用的，服务发现和配置的工具，数据中心

Registrator：负责收集dockerhost上，容器服务的信息，并且发送给consul

Consul-template：根据编辑好的模板生成新的nginx配置文件，并且负责加载nginx配置文件

实验环境

docker01	192.168.1.70
docker02	192.168.1.60
docker03 扫描二维码关注公众号，回复： 8769403 查看本文章	192.168.1.50

关闭防火墙和selinux，并修改主机名

[root@localhost ~]# systemctl  stop  firewalld
[root@localhost ~]# setenforce  0
[root@localhost ~]# hostnamectl  set-hostname   docker01
[root@localhost ~]# su -

1）docker01上，启动consul服务

[root@docker01 ~]# unzip  consul_1.5.1_linux_amd64.zip
[root@docker01 ~]# mv  consul  /usr/local/bin/
[root@docker01 ~]# chmod  +x  /usr/local/bin/consul

//以二进制的方式部署consul，并启动，身份为leader

[root@docker01 ~]# consul  agent  -server  -bootstrap  \
>  -ui  -data-dir=/var/lib/consul-data  \
>  -bind=192.168.1.70  \
>  -client=0.0.0.0  \
>  -node=master

//这时这个命令会占用终端，可以使用nohup命令让它保持后台运行

[root@docker01 ~]# nohup consul  agent  -server  -bootstrap   -ui  -data-dir=/var/lib/consul-data   -bind=192.168.1.70   -client=0.0.0.0   -node=master  &

PS:

-bootstrap：加入这个选项时，一般都在server单节点的时候用，自选举为leader

-ui：开启内部web界面

-data-dir：key/volume数据存储位置

-bind：指定开启服务的IP

-client：指定访问的客户端

-node：只当集群内通信使用的名称，默认是用主机名命名的

PS：开启的端口

8300：集群节点

8301：集群内部的访问

8302：跨数据中心的通信

8500：web ui界面

8600：使用dns协议查看节点信息的端口

//查看conusl的信息

[root@docker01 ~]# consul info
leader_addr = 192.168.1.70:8300  //这个对我们比较有用，其他的都是一些它的算法

//查看集群内成员的信息

[root@docker01 ~]# consul  members
Node    Address            Status  Type    Build  Protocol  DC   Segment
master  192.168.1.70:8301  alive   server  1.5.1  2         dc1  <all>

2）docker02、docker03，加入consul集群

这里我们采用容器的方式去运行consul服务

//docker02

[root@docker02 ~]# docker  load  <  myprogrium-consul.tar
[root@docker02 ~]# docker run  -d  --name  consul  -p  8301:8301  -p   8301:8301/udp  -p  8500:8500  -p  8600:8600  -p  8600:8600/udp  --restart  always  progrium/consul:latest  -join   192.168.1.70  -advertise  192.168.1.60  -client  0.0.0.0  -node=node01

//docker03

[root@docker03 ~]# docker load  <  myprogrium-consul.tar
[root@docker03 ~]# docker run  -d  --name  consul  -p  8301:8301  -p   8301:8301/udp  -p  8500:8500  -p  8600:8600  -p  8600:8600/udp  --restart  always  progrium/consul:latest  -join   192.168.1.70  -advertise  192.168.1.50  -client  0.0.0.0  -node=node02

//在docker01上就能看到加入的信息

2019/12/26 09:50:25 [INFO] serf: EventMemberJoin: node01 192.168.1.60
2019/12/26 09:50:25 [INFO] consul: member 'node01' joined, marking health alive
2019/12/26 09:53:06 [INFO] serf: EventMemberJoin: node02 192.168.1.50
2019/12/26 09:53:06 [INFO] consul: member 'node02' joined, marking health alive

[root@docker01 ~]# consul  members
Node    Address            Status  Type    Build  Protocol  DC   Segment
master  192.168.1.70:8301  alive   server  1.5.1  2         dc1  <all>
node01  192.168.1.60:8301  alive   client  0.5.2  2         dc1  <default>
node02  192.168.1.50:8301  alive   client  0.5.2  2         dc1  <default>

//浏览器访问consul服务，验证集群信息

192.168.1.70:8500

3)下载部署consul-template

//在docker01上导入consul-template_0.19.5_linux_amd64.zip

[root@docker01 ~]# unzip  consul-template_0.19.5_linux_amd64.zip
[root@docker01 ~]# mv  consul-template  /usr/local/bin/
[root@docker01 ~]# chmod  +x  /usr/local/bin/consul-template

4）docker02、docker03上部署registrator服务

registrator是一个能自动发现docker container提供的服务，并在后端服务注册中心注册服务或取消服务的工具，后端注册中心支持consul、etcd、skydns2、zookeeper等

//docker02

[root@docker02 ~]# docker  load  <  myregistrator.tar
[root@docker02 ~]# docker  run  -d  \
>  --name  registrator  \
>  -v  /var/run/docker.sock:/tmp/docker.sock  \
>  --restart  always  \
>  gliderlabs/registrator  \
>  consul://192.168.1.60:8500

//运行一个nginx容器

[root@docker02 ~]# docker  run  -d  -P  --name  test  nginx:latest
b0665dcbd6c5        nginx:latest             "nginx -g 'daemon of…"   10 seconds ago      Up 9 seconds        0.0.0.0:32768->80/tcp 
//映射的端口为32768

//回到浏览器

//docker03

[root@docker03 ~]# docker load  <  myregistrator.tar
[root@docker02 ~]# docker  run  -d  \
>  --name  registrator  \
>  -v  /var/run/docker.sock:/tmp/docker.sock  \
>  --restart  always  \
>  gliderlabs/registrator  \
>  consul://192.168.1.50:8500

5）docker01部署一个nginx服务

//依赖环境

[root@docker01 ~]# yum -y install zlib-devel openssl-devel pcre-devel

[root@docker01 ~]# useradd  -M  -s  /sbin/nologin  nginx
[root@docker01 ~]# tar  zxf  nginx-1.14.0.tar.gz 
[root@docker01 ~]# cd  nginx-1.14.0/
[root@docker01 nginx-1.14.0]# ./configure  --prefix=/usr/local/nginx  \
>  --user=nginx  --group=nginx  \
>  --with-http_stub_status_module  \
>  --with-http_realip_module  \
>  --with-pcre  --with-http_ssl_module
[root@docker01 nginx-1.14.0]# make  &&  make  install
[root@docker01 nginx-1.14.0]# ln  -s  /usr/local/nginx/sbin/*   /usr/local/sbin/
[root@docker01 nginx-1.14.0]# nginx  -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@docker01 nginx-1.14.0]# nginx

PS：

这里nginx作为反向代理，代理后端docker02、docker03上nignx的容器服务，所以我们先去docker02、docker03上部署一些服务，为了方便等会看到负载的效果，所以我们运行完成容器之后，做一个主界面内容的区分

docker02：web01 web02

docker03：web03 web04

//docker02

[root@docker02 ~]# docker  run  -itd  --name  web01  -P  nginx:latest 
[root@docker02 ~]# docker exec  -it  web01   /bin/bash
root@dac0cc15f3fe:/# cd  /usr/share/nginx/html/
root@dac0cc15f3fe:/usr/share/nginx/html# echo  "This web caontainer in dockek02-web01"  >  index.html 
root@dac0cc15f3fe:/usr/share/nginx/html# cat  index.html 
This web caontainer in dockek02-web01
[root@docker02 ~]# docker  run  -itd   --name  web02  -P  nginx:latest 
[root@docker02 ~]# docker exec  -it  web02  /bin/bash
root@26d622553e5e:/# cd  /usr/share/nginx/html/
root@26d622553e5e:/usr/share/nginx/html# echo  "This web caontainer in dockek02-web02"  >  index.html 
root@26d622553e5e:/usr/share/nginx/html# cat  index.html 
This web caontainer in dockek02-web02
[root@docker02 ~]# curl  127.0.0.1:32769
This web caontainer in dockek02-web01
[root@docker02 ~]# curl  127.0.0.1:32770
This web caontainer in dockek02-web02

//docker03

[root@docker03 ~]# docker run  -itd  --name  web03  -P  nginx:latest 
[root@docker03 ~]# docker exec -it  web03  /bin/bash
root@a10f25a91edf:/# cd  /usr/share/nginx/html/
root@a10f25a91edf:/usr/share/nginx/html# echo  "This web caontainer in dockek03-web03"  >  index.html 
root@a10f25a91edf:/usr/share/nginx/html# cat  index.html 
This web caontainer in dockek03-web03
[root@docker03 ~]# docker run  -itd  --name  web04  -P  nginx:latest 
[root@docker03 ~]# docker exec -it  web04  /bin/bash
root@6d30a445c9b8:/# cd  /usr/share/nginx/html/
root@6d30a445c9b8:/usr/share/nginx/html# echo  "his web caontainer in dockek03-web04"  >  index.html 
root@6d30a445c9b8:/usr/share/nginx/html# cat  index.html   
This web caontainer in dockek03-web04
[root@docker03 ~]# curl  127.0.0.1:32768
This web caontainer in dockek03-web03
[root@docker03 ~]# curl  127.0.0.1:32769
This web caontainer in dockek03-web04

更改nginx的配置文件

[root@docker01 ~]# cd  /usr/local/nginx/
[root@docker01 nginx]# mkdir  consul
[root@docker01 nginx]# cd  consul/
[root@docker01 consul]# pwd
/usr/local/nginx/consul
[root@docker01 consul]# vim  nginx.ctmpl
[root@docker01 consul]# cat  nginx.ctmpl 
upstream  httpd_backend {
	{{range service "nginx"}}
	server {{ .Address }}:{{ .Port }};
	{{ end }}
}

server {
	listen  8000;
	server_name  localhost;
	location  / {
	proxy_pass  http://http_backend;
	}
}
[root@docker01 ~]# vim  /usr/local/nginx/conf/nginx.conf
//在文件最后，也就是倒数第二行添加：
include  /usr/local/nginx/consul/*.conf;
//使nginx的主配置文件能够识别到新产生的配置文件
[root@docker01 ~]# nginx  -s  reload

//使用consul-template命令，根据模板生产的配置文件，并重新加载nginx的配置文件

[root@docker01 consul]# consul-template -consul-addr 192.168.1.70:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx  -s  reload"

//这时这个命令会占用终端，可以使用nohup命令让它保持后台运行

[root@docker01 consul]# nohup  consul-template -consul-addr 192.168.1.70:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx  -s  reload"  &

//此时，应该能够看到，新生产的vhost.conf配置文件已经生效，访问本机的8000端口可以得到不同容器提供的服务

[root@docker01 ~]# cd  /usr/local/nginx/consul/
[root@docker01 consul]# ls
nginx.ctmpl  vhost.conf
[root@docker01 consul]# cat  vhost.conf
upstream  httpd_backend {
	
	server 192.168.1.60:32768;
	
	server 192.168.1.60:32769;
	
	server 192.168.1.60:32770;
	
	server 192.168.1.50:32768;
	
	server 192.168.1.50:32769;
	
}

server {
    listen  8000;
    server_name  localhost;
    location  / {
    proxy_pass  http://httpd_backend;
    }
}

[root@docker01 consul]# curl  localhost:8000
This web caontainer in dockek02-web01
[root@docker01 consul]# curl  localhost:8000
This web caontainer in dockek02-web02
[root@docker01 consul]# curl  localhost:8000
This web caontainer in dockek03-web03
[root@docker01 consul]# curl  localhost:8000
This web caontainer in dockek03-web04

当然，这时不管是添加新的nginx的web容器，或是删除，生产的配置文件都会时时更新，这是我们在运行consul-template这条命令最后添加：/usr/local/sbin/nginx -s reload它的作用

//删除之前的test容器，查看vhost文件

[root@docker02 ~]# docker rm  -f  test
[root@docker01 consul]# cat  vhost.conf 
upstream  httpd_backend {
	
	server 192.168.1.60:32769;
	
	server 192.168.1.60:32770;
	
	server 192.168.1.50:32768;
	
	server 192.168.1.50:32769;
}

//在运行一个web05，查看vhost文件的变化

[root@docker02 ~]# docker  run  -itd  --name  web05 -P nginx:latest 
upstream  httpd_backend {
	
	server 192.168.1.60:32769;
	
	server 192.168.1.60:32770;
	
	server 192.168.1.60:32771;
	
	server 192.168.1.50:32768;
	
	server 192.168.1.50:32769;
}