zookeeper 详解及集群搭建

企业开发 2023-04-09 07:03:17 阅读次数: 0

一、Zookeeper

安装包下载地址：https://download.csdn.net/download/weixin_45894220/87020758

关于zookeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。

1.1 角色

Zookeeper中的角色主要有以下三类，如下表所示：

1、领导者（leader），负责进行投票的发起和决议，更新系统状态
2、学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票
3、Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度
4、客户端（client），请求发起方

在这里插入图片描述

系统模型如图所示：
在这里插入图片描述

1.2 设计目的

1、最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。
2 、可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。
3、实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。
4 、等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
5、原子性：更新只能成功或者失败，没有中间状态。 6 .顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

1.3 ZooKeeper的工作原理

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后 ，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。
为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。

在zookeeper的集群中，各个节点共有下面3种角色和4种状态：

角色：leader,follower,observer
状态：leading,following,observing,looking

每个Server在工作过程中有4种状态：

looking：当前Server不知道leader是谁，正在搜寻。
leading：当前Server即为选举出来的leader。
following：leader已经选举出来，当前Server与之同步。
observing：observer的行为在大多数情况下与follower完全一致，但是他们不参加选举和投票，而仅仅接受(observing)选举和投票的结果。

1.4选主流程

当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法有两种：一种是基于basic paxos实现的，另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。
先介绍basic paxos流程：

1 .选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；
2 .选举线程首先向所有Server发起一次询问(包括自己)； 3.选举线程收到回复后，验证是否是自己发起的询问(验证zxid是否一致)，然后获取对方的id(myid)，并存储到当前询问对象列表中，最后获取对方提议的leader相关信息(id,zxid)，并将这些信息存储到当次选举的投票记录表中；
4. 收到所有Server回复以后，就计算出zxid最大的那个Server，并将这个Server相关信息设置成下一次要投票的Server；
5. 线程将当前zxid最大的Server设置为当前Server要推荐的Leader，如果此时获胜的Server获得n/2 + 1的Server票数，
设置当前推荐的leader为获胜的Server，将根据获胜的Server相关信息设置自己的状态，否则，继续这个过程，直到leader被选举出来。

通过流程分析我们可以得出：要使Leader获得多数Server的支持，则Server总数必须是奇数2n+1，且存活的Server的数目不得少于n+1.
每个Server启动后都会重复以上流程。在恢复模式下，如果是刚从崩溃状态恢复的或者刚启动的server还会从磁盘快照中恢复数据和会话信息，zk会记录事务日志并定期进行快照，方便在恢复时进行状态恢复。选主的具体流程图如下所示：

在这里插入图片描述
paxos流程是在选举过程中，某Server首先向所有Server提议自己要成为leader，当其它Server收到提议以后，解决epoch和zxid的冲突，并接受对方的提议，然后向对方发送接受提议完成的消息，重复这个流程，最后一定能选举出Leader。
其流程图如下所示：
在这里插入图片描述

1.5同步流程

选完leader以后，zk就进入状态同步过程。

1.leader等待server连接；
2 .Follower连接leader，将最大的zxid发送给leader；
3 .Leader根据follower的zxid确定同步点；
4 .完成同步后通知follower 已经成为uptodate状态；
5.Follower收到uptodate消息后，又可以重新接受client的请求进行服务了。

流程图如下所示：
在这里插入图片描述

1.6 Leader工作流程

Leader主要有三个功能：

1 .恢复数据；
2 .维持与Learner的心跳，接收Learner请求并判断Learner的请求消息类型；
3.Learner的消息类型主要有PING消息、REQUEST消息、ACK消息、REVALIDATE消息，根据不同的消息类型，进行不同的处理。
PING消息是指Learner的心跳信息；REQUEST消息是Follower发送的提议信息，包括写请求及同步请求；ACK消息是Follower的对提议的回复，超过半数的Follower通过，则commit该提议；REVALIDATE消息是用来延长SESSION有效时间。

Leader的工作流程简图如下所示，在实际实现中，流程要比下图复杂得多，启动了三个线程来实现功能。
在这里插入图片描述

1.7 Follower工作流程

Follower主要有四个功能：

1.向Leader发送请求（PING消息、REQUEST消息、ACK消息、REVALIDATE消息）；
2 .接收Leader消息并进行处理；
3 .接收Client的请求，如果为写请求，发送给Leader进行投票；
4.返回Client结果。

Follower的消息循环处理如下几种来自Leader的消息：

1 .PING消息： 心跳消息；
2 .PROPOSAL消息：Leader发起的提案，要求Follower投票；
3.COMMIT消息：服务器端最新一次提案的信息；
4 .UPTODATE消息：表明同步完成；
5 .REVALIDATE消息：根据Leader的REVALIDATE结果，关闭待revalidate的session还是允许其接受消息；
6 .SYNC消息：返回SYNC结果到客户端，这个消息最初由客户端发起，用来强制得到最新的更新。

Follower的工作流程简图如下所示，在实际实现中，Follower是通过5个线程来实现功能的。
在这里插入图片描述
对于observer的流程不再叙述，observer流程和Follower的唯一不同的地方就是observer不会参加leader发起的投票。

1.8 Zookeeper 的读写机制

· Zookeeper是一个由多个server组成的集群
· 一个leader，多个follower
· 每个server保存一份数据副本
· 全局数据一致
· 分布式读写
· 更新请求转发，由leader实施

1.9 Zookeeper 的保证

· 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
· 数据更新原子性，一次数据更新要么成功，要么失败
·全局唯一数据视图，client无论连接到哪个server，数据视图都是一致的
· 实时性，在一定事件范围内，client能读到最新数据

二、zookeeper集群搭建

在大数据领域呢，有很多组件都会依赖zookeeper进行构建的，那么搭建zookeeper集群就非常有必要了，今天我就来分享一下zookeeper集群搭建的详细过程！

2.1、准备三个虚拟机

hadoop1 CentOS 7.6 版 192.168.1.121 Hadoop2 CentOS 7.6 版 192.168.1.122 Hadoop3 CentOS 7.6 版 192.168.1.123

2.2、主机名配置

[root@localhost ~]# hostnamectl set-hostname hadoop1
[root@localhost ~]# hostnamectl set-hostname hadoop2
[root@localhost ~]# hostnamectl set-hostname hadoop3

2.3、主机名与IP地址解析

 [root@hadoop1 ~]# cat > /etc/hosts <<EOF
> 192.168.1.121 hadoop1
> 192.168.1.122 hadoop2
> 192.168.1.123 hadoop3
> EOF

2.4、每台虚拟机都配置有ssh服务，可以进行免密登录

注意：以下在192.168.1.121服务器上操作

SSH-Key密钥认证

在这里插入图片描述

[root@hadoop1 ~]# for i in 121 122 123; do ssh-copy-id 192.168.1.$i; done

免密登录测试验证

[root@hadoop1 ~]# ssh hadoop2
[root@hadoop1 ~]# ssh hadoop3

在这里插入图片描述

2.5、jdk8安装配置

解压安装
上传jdk1.8安装包，并解压至java目录

[root@hadoop1 module]# tar -zxvf jdk-8u121-linux-x64.tar.gz -C java/

拷贝jdk到其他hadoop2 hadoop3机器节点

[root@hadoop1 module]# scp -r java/ root@hadoop2:/opt/module/java/
[root@hadoop1 module]# scp -r java/ root@hadoop3:/opt/module/java/

编辑环境变量

[root@hadoop1 module]# vim /etc/profile
export JAVA_HOME=/opt/module/java/jdk1.8.0_121
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

使配置文件生效

[root@hadoop1 module]# source /etc/profile

检验是否安装成功(所有节点)

[root@hadoop1 module]# java -version

其他两台同样配置下

[root@hadoop1 module]# scp -r /etc/profile root@hadoop2:/etc/profile
profile                                                                                                                100% 2091   577.7KB/s   00:00    
[root@hadoop1 module]# scp -r /etc/profile root@hadoop3:/etc/profile
Profile

[root@hadoop2 jdk1.8.0_121]# source /etc/profile
[root@hadoop2 jdk1.8.0_121]# java –version

[root@hadoop3 data]# source /etc/profile
[root@hadoop3 data]# java -version

注意：下边的步骤都是在hadoop1这个节点上进行的操作，除特殊说明外。

2.6、部署

下载安装包

[root@hadoop1 ~]# mkdir -p /opt/module
[root@hadoop1 ~]# cd /opt/module/

#下载zookeeper安装包

[root@hadoop1 ~]# wget http://archive.apache.org/dist/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz

#解压zookeeper安装包

[root@hadoop1 ~]# tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
[root@hadoop1 ~]# mv apache-zookeeper-3.6.3-bin zookeeper

2.7 修改配置文件

[root@hadoop1 module]# cd zookeeper/conf/

添加zookeeper配置文件

[root@hadoop1 conf]# cp zoo_sample.cfg zoo.cfg

创建数据存放目录

[root@hadoop1 conf]# mkdir /opt/module/zookeeper/conf/data

vim zoo.cfg
#添加如下内容
server.1=hadoop1:2188:2888
server.2=hadoop2:2188:2888
server.3=hadoop3:2188:2888

#修改dataDir

dataDir=/opt/module/zookeeper/conf/data

#配置文件保存退出后，进入data目录

[root@hadoop1 conf]# cd data/

#生成myid文件，指定myid服务号

echo "1" > myid

2.8、将zookeeper目录分发到其他节点

分发到其他集群节点

[root@hadoop1 module]# scp -r zookeeper/ hadoop2:/opt/module
[root@hadoop1 module]# scp -r zookeeper/ hadoop3:/opt/module

2.9、修改其他节点的myid文件

登录?Hadoop2节点：

[root@hadoop2 ~]# cd /opt/module/zookeeper/conf/data
[root@hadoop2 data]# echo "2" > myid

登录Hadoop3节点：

[root@hadoop3 data]# cd /opt/module/zookeeper/conf/data
[root@hadoop3 data]# echo "3" > myid

2.9.1编写操作zookeeper集群的脚本

[root@hadoop1 bin]#cd /opt/module/zookeeper/bin

#创建zookeeper启动脚本

vim zk.sh
#添加如下内容
#!/bin/bash
case $1 in
"start"){
    
    
	for i in hadoop1 hadoop2 hadoop3
	do 
		 echo -------------------------------- $i zookeeper 启动 ---------------------------
		ssh $i "/opt/module/zookeeper/bin/zkServer.sh start"
	done
}
;;
"stop"){
    
    
	for i in hadoop1 hadoop2 hadoop3
	do
		echo -------------------------------- $i zookeeper 停止 ---------------------------
		ssh $i "/opt/module/zookeeper/bin/zkServer.sh stop"
	done
}
;;
"status"){
    
    
	for i in hadoop1 hadoop2 hadoop3
	do
		echo -------------------------------- $i zookeeper 状态 ---------------------------
		ssh $i "/opt/module/zookeeper/bin/zkServer.sh status"
	done
}
;;
esac

如果出现一下问题，解决办法
在这里插入图片描述
在zookeeper目录下的bin目录下，有一个zkEnv.sh文件，在文件代码部分的 前面 加上自己的JAVA_HOME路径即可。

[root@hadoop1 bin]# vim zkEnv.sh
export JAVA_HOME=/opt/module/java/jdk1.8.0_121

在这里插入图片描述
脚本的命令说明：
#启动集群命令

./zk.sh start

停止集群命令

./zk.sh stop

#查看集群状态命令

./zk.sh status

2.9.2、启动集群

启动zookeeper集群

[root@hadoop1 bin]# ./zk.sh start

在这里插入图片描述
启动完成之后查看每个节点的状态
每个Server在工作过程中有三种状态：

·LOOKING：当前Server不知道leader是谁，正在搜寻
·LEADING：当前Server即为选举出来的leader
·FOLLOWING：leader已经选举出来，当前Server与之同步

在这里插入图片描述
从上面可以看出，hadoop1，hadoop3两台服务器zookeeper的状态是follow模式，hadoop2这台服务器zookeeper的状态是leader模式。

2.9.3 连接zookeeper集群

Zookeeper集群搭建完毕之后，可以通过客户端脚本连接到zookeeper集群上面，对客户端来说，zookeeper集群是一个整体，连接到zookeeper集群实际上感觉在独享整个集群的服务。

#连接zookeeper集群

[root@hadoop1 bin]# ./zkCli.sh

在这里插入图片描述
通过上图可以看出整个zookeeper集群已经搭建并测试完成。

#Zookeeper原理可参考：
http://blog.csdn.net/wuliu_forever/article/details/52053557

猜你喜欢

转载自blog.csdn.net/weixin_45894220/article/details/127866337
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
BPM为企业带来的实际利益
好程序员web前端分享css常用属性缩写
Java文件下载（excel）
css样式的动态添加及显示和隐藏等零碎用法
axios全局配置以及拦截器
使用Logstash来实时同步MySQL和log日志数据到ES
C++获取当前时间（年月日、时分秒、毫秒）
Odoo产品分析 (四) -- 工具板块(11) -- 网站即时聊天(1)
Java环境配置正确，但是java、javac、java -version均返回“不是内部或外部命令，也不是可运行的程序或批处理文件”？
01 官网下载各种CentOS教程（超详细版）
每日归档
更多
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022