Linux学习笔记（三） --Zookeeper分布式协调服务部署

一、部署准备

1、安装所需包

百度云下载地址 ——提取码：mnay

2、服务器规划

IP地址	主机名	版本	备注
192.168.43.14	yun1	zookeeper-3.4.14-bin.tar.gz	主节点
192.168.43.254	yun2	zookeeper-3.4.14-bin.tar.gz	数据节点
192.168.43.180	yun3	zookeeper-3.4.14-bin.tar.gz	数据节点

二、部署步骤

1、上传zookeeper包（yun1节点操作）

将zookeeper压缩包上传到 /home/hadoop/Downloads 目录下。如果目录不存在，就先创建该目录。

2、解压zookeeper包（yun1节点操作）

解压zookeeper压缩包到/usr/local/install文件目录下

注：如果不存 /usr/local/install 这个目录，先创建该目录

hadoop@yun1:~$ cd /usr/local/
hadoop@yun1:~$ sudo mkdir install 

正式解压

hadoop@yun1:~$ cd Downloads
hadoop@yun1:~/Downloads$ sudo tar zxvf zookeeper-3.4.14.tar.gz -C /usr/local/install/

3、改文件名（yun1节点操作）

将zookeeper-3.4.14改名成zookeeper

hadoop@yun1:~$ cd /usr/local/install/
hadoop@yun1:/usr/local/install/$ sudo mv zookeeper-3.4.14/ zookeeper

三、配置服务器编号

1、创建zkData

在/usr/local/install/zookeeper这个目录下创建zkData，执行如下命令：

hadoop@yun1:~$ cd /usr/local/install/zookeeper/
hadoop@yun1:/usr/local/install/zookeeper$ mkdir zkData

2、创建myid文件

在/usr/local/install/zookeeper/zkData目录下创建一个myid的文件，执行如下操作：

hadoop@yun1:/usr/local/install/zookeeper$ cd zkData/
hadoop@yun1:/usr/local/install/zookeeper/zkData$ touch myid

编辑 yun1节点的myid

hadoop@yun1:/usr/local/install/zookeeper/zkData$ vim myid

在文件中添加与server对应的编号：

1

如图所示：

四、配置zoo.cfg文件

1、文件重命名

重命名zookeeper/conf这个目录下的zoo_sample.cfg为zoo.cfg

hadoop@yun1:/usr/local/install/zookeeper$ cd conf
hadoop@yun1:/usr/local/install/zookeeper/conf$ mv zoo_sample.cfg zoo.cfg

2、修改zoo.cfg文件

hadoop@yun1:/usr/local/install/zookeeper/conf$ vim zoo.cfg

修改dataDir路径

dataDir=/usr/local/install/zookeeper/zkData

增加配置

server.1=yun1:2888:3888
server.2=yun2:2888:3888
server.3=yun3:2888:3888

保存zoo.cfg文件，并退出。

五、配置zookeeper环境变量

vim ~/.bashrc

#配置zookeeper环境
export ZOOKEEPER_HOME=/usr/local/install/zookeeper
export PATH=$ZOOKEEPE{R}_{H}OME/bin:$PATH

保存配置文件，并退出，执行立即生效

source ~./bashrc

六、文件同步

将/usr/local/install/zookeeper目录内容同步到yun2节点

hadoop@yun1:/usr/local/install$ scp -r zookeeper/ yun2:/usr/local/install/

将/usr/local/install/zookeeper目录内容同步到yun3节点

hadoop@yun1:/usr/local/install$ scp -r zookeeper/ yun3:/usr/local/install/

七、在数据节点操作。

1、在节点2操作

1.1编辑 yun2节点的myid

hadoop@yun2:/usr/local/install/zookeeper/zkData$ vim myid

在文件中添加与server对应的编号：

2

1.2 更改环境变量

vim ~/.bashrc

#配置zookeeper环境
export ZOOKEEPER_HOME=/usr/local/install/zookeeper
export PATH=$ZOOKEEPE{R}_{H}OME/bin:$PATH

source ~/.bashrc

2、在节点3操作

2.1 编辑 yun3节点的myid

hadoop@yun3:/usr/local/install/zookeeper/zkData$ vim myid

在文件中添加与server对应的编号：

3

2.2 更改环境变量

vim ~/.bashrc

#配置zookeeper环境
export ZOOKEEPER_HOME=/usr/local/install/zookeeper
export PATH=$ZOOKEEPE{R}_{H}OME/bin:$PATH

source ~/.bashrc

八、集群操作

1、分别在三个节点启动Zookeeper

启动zookeeper之前，需要先启动Hadoop集群。先启动数据节点，再启动主节点，也就是先启动yun2或者yun3节点再启动yun1节点。其中第二个启动的节点，将作为Mode: leader节点。

yun2节点

#查看启动成功当前的进程
hadoop@yun2:~$ jps
105249 Jps
10616 NodeManager
9133 DataNode

# 启动zookeeper服务
hadoop@yun2:~$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/install/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

##查看zookeeper服务状态
hadoop@yun2:~$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/install/zookeeper/bin/../conf/zoo.cfg
Mode: follower

#启动zookeeper集群后的进程
hadoop@yun2:~$ jps
10616 NodeManager
105307 QuorumPeerMain
9133 DataNode
105455 Jps

yun1节点

#查看启动成功当前的进程
hadoop@yun1:~$ jps
1776 SecondaryNameNode
1975 ResourceManager
12215 Jps
2269 JobHistoryServer
1501 NameNode

# 启动zookeeper服务
hadoop@yun1:~$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/install/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

##查看zookeeper服务状态
hadoop@yun1:~$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/install/zookeeper/bin/../conf/zoo.cfg
Mode: leader

#启动zookeeper集群后的进程
hadoop@yun1:~$ jps
1776 SecondaryNameNode
12272 QuorumPeerMain
12372 Jps
1975 ResourceManager
2269 JobHistoryServer
1501 NameNode

yun3节点

#查看启动前的进程
hadoop@yun3:~$ jps
10818 NodeManager
47750 Jps
10618 DataNode

# 启动zookeeper服务
hadoop@yun3:~$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/install/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

##查看zookeeper服务状态
hadoop@yun3:~$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/install/zookeeper/bin/../conf/zoo.cfg
Mode: follower

#启动zookeeper集群后的进程
hadoop@yun3:~$ jps
10818 NodeManager
47812 QuorumPeerMain
47941 Jps
10618 DataNode

到此。zookeeper集群部署完成。

---------------------------------------------------------------------提示---------------------------------------------------------------------
如果你在部署过程中，遇到什么问题，可以通过评论区加我微信，我们相互讨论。共同成长！！！
---------------------------------------------------------------------提示---------------------------------------------------------------------

系列文章目录

Linux学习笔记（一） – 在虚拟机中安装ubuntu-server-20.04.1版本
Linux学习笔记（二） --Hadoop 3.1.3集群分布式配置
Linux学习笔记（三） --Zookeeper分布式协调服务部署
Linux学习笔记（四） --Hbase集群部署