Zookeeper单机部署集群配置过程(基于docker方式)

Zookeeper单机部署集群配置过程(基于docker方式)

前面的文章部署zk服务,直接在裸机上部署,较为不便,现在很多服务如果不做docker化,无论在故障恢复、运维都增加很大困难,无法做到自动化部署,这种低效率的IT运营模式是比较难接受的,对于我们开发而已,必须是一键式优雅部署,所以本篇文章采用docker方式部署zk集群,可以从中对比裸机部署过程的不同以及优势

1、部署docker和docker-compose

参考本blog链接

2、部署zookeeper集群

拉取zk镜像,可以dockerhub上面看下目前的zk官方镜像的tag有什么版本,默认是latest,接着是3.5.5以及3.4.14,这里用的stable版本3.4.14

[[email protected] opt]# docker pull zookeeper:3.4.14

在宿主机上新建一个存放docker集群zk服务器目录(仅为了方便管理),并在该目录下新建一个compose配置文件

[[email protected] zk_docker_cluster]# pwd
/opt/zk_docker_cluster
[[email protected] zk_docker_cluster]# vi docker-compose.yml
version: '3.3'
services:
  zoo1:
    # 使用zookeeper:3.4.14镜像,加上tag标签
    image: zookeeper:3.4.14
    restart: always
    hostname: zoo1
    container_name: zk1
    ports:
      - 2181:2181
    volumes:
    # 宿主机目录路径无需手工创建,docker-compose有权限进行自行创建挂载的目录路径    
      - /opt/zk_docker_cluster/zoo1/data:/data
      - /opt/zk_docker_cluster/zoo1/datalog:/datalog
      - /opt/zk_docker_cluster/zoo1/logs:/logs
      
    environment:
      ZOO_MY_ID: 1
			ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  zoo2:
    image: zookeeper
    restart: always
    hostname: zoo2
    container_name: zk2
    ports:
      - 2182:2181
    volumes:
      - /opt/zk_docker_cluster/zoo2/data:/data
      - /opt/zk_docker_cluster/zoo2/datalog:/datalog
      - /opt/zk_docker_cluster/zoo2/logs:/logs      
    environment:
      ZOO_MY_ID: 2
			ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  zoo3:
    image: zookeeper
    restart: always
    hostname: zoo3
    container_name: zk3
    ports:
      - 2183:2181
    volumes:
      - /opt/zk_docker_cluster/zoo3/data:/data
      - /opt/zk_docker_cluster/zoo3/datalog:/datalog
      - /opt/zk_docker_cluster/zoo3/logs:/logs      
    environment:
      ZOO_MY_ID: 3
			ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

配置文件需要注意的地方

在运行前,可以用docker-compose -f docker-compose.yml config检查配置文件是否正确

1)version 版本号不能随便改,例如这里改为1.0,提示不支持

[[email protected] zk_docker_cluster]# docker-compose -f docker-compose.yml config 
ERROR: Version in "./docker-compose.yml" is unsupported. You might be seeing this error because you're using the wrong Compose file version. Either specify a supported version (e.g "2.2" or "3.3") and place your service definitions under the `services` key, or omit the `version` key and place your service definitions at the root of the file to use version 1.

2)注意yaml语法的层次表达

例如在这里,故意把zoo1放置在service同层次上,引起解析出错,所以在编排zk的配置时,要注意这些细节

ERROR: yaml.parser.ParserError: while parsing a block mapping
  in "./docker-compose .yml", line 1, column 1
expected <block end>, but found '<block mapping start>'
  in "./docker-compose .yml", line 17, column 3

3) 注意到docker-compose yml跟裸机部署集群的不同

  • 例如hostname:

在docker中,无需要指明具体的ip地址,因为docker使用其内部私网为zk服务自动分配私网ip,而且自动DNS解析主机名,因此配置文件可以直接用zoo1这样的主机名

而在裸机部署中,裸机自己的网络设置需要指定具体IP地址,如果zoo.cfg配置用了主机名代替服务器IP,那么要求裸机网卡设定的DNS需支持zk网段的主机名解析

  • 再例如设定集群的server.n:

在docker-compose里,直接主机名,server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 ,前面已经提过,docker内部其实已经对三个zk容器都分配相应的私网地址,通过以下命令查看:

# 列出所有docker容器IP
[[email protected] zk_docker_cluster]# docker inspect --format='{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -aq)
/zk1 - 172.18.0.4
/zk3 - 172.18.0.2
/zk2 - 172.18.0.3
# 也可以用docker inspect zk2 查看容器内部具体的信息,这里截取一部分
[[email protected] zk_docker_cluster]# docker inspect zk2
        "HostConfig": {
            "Binds": [
               # datalog:rw,说明docker对宿挂载的宿主机有读写权限
                "/opt/zk_docker_cluster/zoo2/datalog:/datalog:rw",
                "/opt/zk_docker_cluster/zoo2/data:/data:rw"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "zk_docker_cluster_default",
            "PortBindings": {
                # 绑定宿主机的端口号
                "2181/tcp": [
                    {
                        "HostIp": "",
                        # zoo2容器内部的zk服务监听端口号
                        "HostPort": "2182"
                    }
                ]
            },
            
            .......
            
            "Networks": {
                "zk_docker_cluster_default": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": [
                        "0595457ea13d",
                        # hostname主机名
                        "zoo2"
                    ],
                    "NetworkID": "46f7dbb34f0eefb1181729aeaaf6a1080d64a46fdba935b21d5e37a3b1aea34e",
                    "EndpointID": "9dd1d2726ba6850ab851f0227fb04aa1a027c35e84d36cd308208a4d4fb42f7d",
                    "Gateway": "172.18.0.1",
                    "IPAddress": "172.18.0.3",
                    "IPPrefixLen": 16,

docker内部的私网段可以在宿主机上ip a 命令查看到,这是个docker的网桥网络,

地址池:172.18.0.1/16

8: br-46f7dbb34f0e: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:82:51:27:a6 brd ff:ff:ff:ff:ff:ff
    inet 172.18.0.1/16 brd 172.18.255.255 scope global br-46f7dbb34f0e
       valid_lft forever preferred_lft forever
    inet6 fe80::42:82ff:fe51:27a6/64 scope link 
       valid_lft forever preferred_lft forever

三个zk容器服务分别从这个地址池获取三个ip,网关为172.18.0.1,相当于三台独立服务器,因此在server.n设置端口都可以指定为2888:3888相同端口,也即

zoo1:2888:3888等于172.18.0.4:2888:3888
zoo2:2888:3888等于172.18.0.3:2888:3888

zoo3:2888:3888等于172.18.0.2:2888:3888

总之,docker内部出色的网络结构设计,使得管理员从相对繁琐的网络配置解放出来。

而在单台裸机部署集群的配置中,则要指明ip(若有dns或者配置主机名解析,可无须指定IP地址)以及不同的管理端口号(使用不同端口是防止在同一服务器上端口冲突):

server.1=192.168.4.100:42182:42183
server.2=192.168.4.100:42184:42185
server.3=192.168.4.100:42186:42187

启动docker-compose

注意:所有的操作都应该在对应的docker-compse项目下进行,这是因为命令docker-compose自动读取本目录下的docker-compose.yml配置,注意这里仅当配置文件名为默认值docker-compose.yml,运行docker-compose命令才无需传入配置文件,否则如果项目目录下,yml配置文件为其它名字,例如

zk_docker_cluster.yml,每次执行docker-compose命令都需要指定配置文件:

docker-compose -f zk_docker_cluster.yml up -d

改了默认文件名的配置文件,在执行命令没传人配置文件,docker-compose提示:

[[email protected] zk_docker_cluster]# ls
zk_docker_cluster.yml  zoo1  zoo2  zoo3
[[email protected] zk_docker_cluster]# docker-compose ps
ERROR: 
        Can't find a suitable configuration file in this directory or any
        parent. Are you in the right directory?

        Supported filenames: docker-compose.yml, docker-compose.yaml
# 它这里提示在当前目录或者docker-compose的默认目录,都没有砸到配合文件,
# 支持两种使用默认值命名的文件:docker-compose.yml, docker-compose.yaml

执行相关命令:

[[email protected] zk_docker_cluster]# docker-compose  up -d
Starting zk2 ... done
Creating zk1 ... done
Creating zk3 ... done

[[email protected] zk_docker_cluster]# docker-compose stop
Stopping zk1 ... done
Stopping zk3 ... done
Stopping zk2 ... done

# 查看zk_docker_cluster目录结构,目录路径由docker根据compose配置自动创建,无需手工预先创建
[[email protected] zk_docker_cluster]# tree 
.
├── docker-compose.yml
├── zoo1
│   ├── data
│   │   ├── myid
│   │   └── version-2
│   │       ├── acceptedEpoch
│   │       ├── currentEpoch
│   │       ├── snapshot.0
│   │       └── snapshot.400000000
│   ├── datalog
│   │   └── version-2
│   └── logs
├── zoo2
│   ├── data
│   │   ├── myid
│   │   └── version-2
│   │       ├── acceptedEpoch
│   │       ├── currentEpoch
│   │       ├── snapshot.0
│   │       └── snapshot.400000000
│   ├── datalog
│   │   └── version-2
│   └── logs
└── zoo3
    ├── data
    │   ├── myid
    │   └── version-2
    │       ├── acceptedEpoch
    │       ├── currentEpoch
    │       ├── snapshot.0
    │       └── snapshot.400000000
    ├── datalog
    │   └── version-2
    └── logs
# 可以直接进入容器内部查看
[[email protected] ~]# docker exec -it zk1 /bin/bash
[email protected]:/zookeeper-3.4.14# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Mode: follower

# 在zk容器内部使用Cli登录并创建节点
[zk: localhost:2181(CONNECTED) 3] create /foo 1
Created /foo
[zk: localhost:2181(CONNECTED) 3] create /app_conf 1
Created /app_conf

[zk: localhost:2181(CONNECTED) 5] ls /
[zookeeper,app_conf,foo]
# 创建临时顺序节点
[zk: localhost:2181(CONNECTED) 6] create -e -s /foo 1
Created /foo0000000001
[zk: localhost:2181(CONNECTED) 7] create -e -s /foo 1
Created /foo0000000002
[zk: localhost:2181(CONNECTED) 8] create -e -s /foo 1
Created /foo0000000003

在zk的docker容器内部,指定zk容器ip进入相应的服务

在前面已经给出三个zk服务在docker内部分配的私网IP,若想进入指定的zk容器,则需要用到这些私网网IP

# 三个zk服务器在docker内部分配到的IP
(docker ps -aq)
/zk3 - 172.18.0.3
/zk1 - 172.18.0.4
/zk2 - 172.18.0.2

# 先选一个容器进入其内部,例如其内部zk client环境连接到其他zk服务实例,
[[email protected] bin]# docker exec -it zk1 /bin/bash
[email protected]:/zookeeper-3.4.14# 

# 连接zk1服务
[email protected]:/zookeeper-3.4.14# ./bin/zkCli.sh -server 172.18.0.4
[zk: 172.18.0.4:2181(CONNECTED) 1] ls /
[zookeeper, app_conf, foo]

# 连接zk2服务
[email protected]:/zookeeper-3.4.14# ./bin/zkCli.sh -server 172.18.0.2
[zk: 172.18.0.2:2181(CONNECTED) 1] ls /
[zookeeper, app_conf, foo]

# 连接zk1服务
[email protected]:/zookeeper-3.4.14# ./bin/zkCli.sh -server 172.18.0.3
[zk: 172.18.0.3:2181(CONNECTED) 1] ls /
[zookeeper, app_conf, foo]

3、用zk的四字命令查看zk集群状态

通过进入容器查看zk状态显然不优雅,zk中有快捷的命令可以查看服务器的运行状态,它们的长度为4个英文字母缩写,又叫“四字命令”,需要结合nc命令,服务器安装nmap-ncat.x86_64(可通过yum install nc)

state

stat命令用于获取zk的运行时状态信息,包括基本的zk版本、打包信息、运行时角色、集群数据节点个数等信息。

# 详细信息
[[email protected] zk_docker_cluster]# echo stat | nc 127.0.0.1 2181    
Zookeeper version: 3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
Clients:
 /172.18.0.1:38660[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 2/18/49
Received: 7
Sent: 6
Connections: 1
Outstanding: 0
Zxid: 0x300000002
Mode: follower
Node count: 4

# 每个zk实例的角色
[[email protected] zk_docker_cluster]# echo stat | nc 127.0.0.1 2181|grep Mode 
Mode: follower
[[email protected] zk_docker_cluster]# echo stat | nc 127.0.0.1 2182|grep Mode 
Mode: follower
[[email protected] zk_docker_cluster]# echo stat | nc 127.0.0.1 2183|grep Mode
Mode: leader

conf

conf命令用于输出ZooKeeper服务器运行时使用的基本配置信息,包括clientPort、dataDir和tickTime等。

[[email protected] zk_docker_cluster]# echo conf | nc 127.0.0.1 2181
clientPort=2181
dataDir=/data/version-2
dataLogDir=/datalog/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=1
initLimit=5
syncLimit=2
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0

mntr

mntr命令用于输出比stat命令更为详尽的服务器统计信息,包括请求处理的延迟情况、服务器内存数据库大小和集群的数据同步情况

[[email protected] zk_docker_cluster]# echo mntr | nc 127.0.0.1 2181    
zk_version      3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
zk_avg_latency  18
zk_max_latency  49
zk_min_latency  2
zk_packets_received     8
zk_packets_sent 7
zk_num_alive_connections        1
zk_outstanding_requests 0
zk_server_state follower
zk_znode_count  4
zk_watch_count  0
zk_ephemerals_count     0
zk_approximate_data_size        27
zk_open_file_descriptor_count   31
zk_max_file_descriptor_count    1048576
zk_fsync_threshold_exceed_count 0

crst

crst命令是一个功能性命令(client reset),用于重置所有的客户端连接统计信息

[[email protected] zk_docker_cluster]# echo crst | nc 127.0.0.1 2181    
Connection stats reset.

srvr

srvr命令和stat命令的功能一致,唯一的区别是srvr不会将客户端的连接情况输出,仅仅输出服务器的自身信息

imok[[email protected] zk_docker_cluster]# echo srvr | nc 127.0.0.1 2181    
Zookeeper version: 3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
Latency min/avg/max: 0/0/49
Received: 327
Sent: 326
Connections: 2
Outstanding: 0
Zxid: 0x300000004
Mode: follower
Node count: 5

dump

dump命令用于输出当前集群的所有会话信息,包括这些会话的会话ID,以及每个会话创建的临时节点等信息。

[[email protected] zk_docker_cluster]# echo dump | nc 127.0.0.1 2181
SessionTracker dump:
[email protected]3
ephemeral nodes dump:
Sessions with Ephemerals (0):

envi

envi命令用于输出ZooKeeper所在服务器环境以及一些runtime环境,包括os.version、java.version和user.home等

[[email protected] zk_docker_cluster]# echo envi | nc 127.0.0.1 2181    
Environment:
zookeeper.version=3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
host.name=zoo1
java.version=1.8.0_222
java.vendor=Oracle Corporation
java.home=/usr/local/openjdk-8
java.class.path=/zookeeper-3.4.14/bin/../zookeeper-server/target/classes:/zookeeper-3.4.14/bin/../build/classes:/zookeeper-3.4.14/bin/../zookeeper-server/target/lib/*.jar:/zookeeper-3.4.14/bin/../build/lib/*.jar:/zookeeper-3.4.14/bin/../lib/slf4j-log4j12-1.7.25.jar:/zookeeper-3.4.14/bin/../lib/slf4j-api-1.7.25.jar:/zookeeper-3.4.14/bin/../lib/netty-3.10.6.Final.jar:/zookeeper-3.4.14/bin/../lib/log4j-1.2.17.jar:/zookeeper-3.4.14/bin/../lib/jline-0.9.94.jar:/zookeeper-3.4.14/bin/../lib/audience-annotations-0.5.0.jar:/zookeeper-3.4.14/bin/../zookeeper-3.4.14.jar:/zookeeper-3.4.14/bin/../zookeeper-server/src/main/resources/lib/*.jar:/conf:
java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
java.io.tmpdir=/tmp
java.compiler=<NA>
os.name=Linux
os.arch=amd64
os.version=3.10.0-957.27.2.el7.x86_64
user.name=zookeeper
user.home=/home/zookeeper
user.dir=/zookeeper-3.4.14

ruok

ruok命令用于输出当前ZooKeeper服务器是否正在运行,“Are you ok”的缩写?如果当前ZooKeeper服务器正在运行,那么返回“imok”(I am ok),否则没有任何响应输出。

[[email protected] zk_docker_cluster]# echo ruok | nc 127.0.0.1 2181    
imok

wchs

wchs命令用于输出当前服务器上管理的Watcher的概要信息

[[email protected] zk_docker_cluster]# echo wchs | nc 127.0.0.1 2181     
 connections watching 0 paths
Total watches:0

wchc

wchc命令用于输出当前服务器上管理的Watcher的详细信息,以会话为单位进行归组,同时列出被该会话注册了Watcher的节点路径

wchp

wchp命令和wchc命令非常类似,也是用于输出当前服务器上管理的Watcher的详细信息,不同点在于wchp命令的输出信息以节点路径为单位进行归组。

发布了52 篇原创文章 · 获赞 11 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/pysense/article/details/100548660