Zookeeper简介及集群搭建

其他 2019-05-13 13:20:55 阅读次数: 0

Zookeeper原理简介

ZooKeeper是一个高性能的，分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。他是一个树形结构。这种树形结构和标准文件系统相似。ZooKeeper 树中的每个节点被称为Znode。和文件系统的目录树一样，ZooKeeper 树中的每个节点可以拥有子节点。每个节点表示一个唯一服务资源

Zookeeper设计目的

  • 最终一致性：client不论连接到那个Server，展示给它的都是同一个视图。
  • 可靠性：具有简单、健壮、良好的性能、如果消息m被到一台服务器接收，那么消息m将被所有服务器接收。
  • 实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。
  • 等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
  • 原子性：更新只能成功或者失败，没有中间状态。
  • 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

Zookeeper工作原理

1、在zookeeper的集群中，各个节点共有下面3种角色和4种状态：

角色：leader,follower,observer
状态：leading,following,observing,looking

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议（ZooKeeper Atomic Broadcast protocol）。Zab协议有两种模式，它们分别是恢复模式（Recovery选主）和广播模式（Broadcast同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。

为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。

每个Server在工作过程中有4种状态：

LOOKING：当前Server不知道leader是谁，正在搜寻。

LEADING：当前Server即为选举出来的leader。

FOLLOWING：leader已经选举出来，当前Server与之同步。

OBSERVING：observer的行为在大多数情况下与follower完全一致，但是他们不参加选举和投票，而仅仅接受(observing)选举和投票的结果。

Zookeeper集群节点

  • Zookeeper节点部署越多，服务的可靠性越高，建议部署奇数个节点，因为zookeeper集群是以宕机个数过半才会让整个集群宕机的。
  • 需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘，因为独立磁盘可以确保zookeeper是高性能的。如果你的集群负载很重，不要把zookeeper和RegionServer运行在同一台机器上面，就像DataNodes和TaskTrackers一样。

Zookeeper集群搭建

  1. 安装zookeeper首先需要安装JDK环境，不再废话
  2. 官网下载地址：https://zookeeper.apache.org/
  3. 解压三个zookeeper版本为3.4.10名字分别为zookeeper-3.4.10-1，zookeeper-3.4.10-2，zookeeper-3.4.10-3

  4. 进入到zookeeper-3.4.10-1的conf目录复制zoo_sample.cfg名为zoo.cfg

    扫描二维码关注公众号，回复： 6220688 查看本文章

  5. vim zoo.cfg

  6. # The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper-3.4.10-1/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

dataLogDir=/usr/local/zookeeper-3.4.10-1/logs
server.1=localhost:2888:3888
server.2=localhost:2889:3889
server.3=localhost:2890:3890

  7. tickTime：心跳的时间，单位毫秒. Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。表明存活状态。

    initLimit：这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

    syncLimit：这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

    dataDir：数据目录，可以是任意目录。存储 zookeeper 的快照文件、pid 文件，默认为/tmp/zookeeper，建议在 zookeeper 安装目录下创建 data 目录，将 dataDir 配置改为/usr/local/zookeeper-3.4.10/data

    clientPort：客户端连接 zookeeper 的端口，即 zookeeper 对外的服务端口，默认为 2181

    server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。

    dataLogDir：log目录, 同样可以是任意目录，一般是节点安装目录下的logs目录。如果没有设置该参数，将使用和dataDir相同的设置。

  8. 在zookeeper的根目录下面创键一个data目录，和logs目录，因为配置文件中配置了这两个目录

  9. 每个data目录中都创建一个名为myid的文件，3个文件的内容分别写1、2、3。这个1、2、3是对应前面的server.1、 server.2、 server.3

  10. 同理在zookeeper-3.4.10-2，zookeeper-3.4.10-3和该配置一样，只需要路径该为对应路径，clientPort不冲突就行了

  11. 启动三台zk，在zk的bin目录下执行./zkServer.sh start  #启动，stop停止，restart重启

  12. ps查看一下就行了，三个节点都正常启动成功了，接下来我们进入客户端，创建一些znode，看看是否会同步到集群中的其他节点上去

  13. ./zkCli.sh -server localhost:2181

  14. [root@localhost bin]# ./zkCli.sh -server localhost:2181   # 登录第一个节点的客户端
Connecting to localhost:2181
2019-04-17 10:01:48,790 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
2019-04-17 10:01:48,795 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=localhost
2019-04-17 10:01:48,795 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_121
2019-04-17 10:01:48,798 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2019-04-17 10:01:48,798 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/local/jdk1.8.0_121/jre
2019-04-17 10:01:48,798 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/usr/local/zookeeper-3.4.10-1/bin/../build/classes:/usr/local/zookeeper-3.4.10-1/bin/../build/lib/*.jar:/usr/local/zookeeper-3.4.10-1/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper-3.4.10-1/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper-3.4.10-1/bin/../lib/netty-3.10.5.Final.jar:/usr/local/zookeeper-3.4.10-1/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper-3.4.10-1/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper-3.4.10-1/bin/../zookeeper-3.4.10.jar:/usr/local/zookeeper-3.4.10-1/bin/../src/java/lib/*.jar:/usr/local/zookeeper-3.4.10-1/bin/../conf:.:/usr/local/jdk1.8.0_121/lib/dt.jar:/usr/local/jdk1.8.0_121/lib/tools.jar:/usr/local/jdk1.8.0_121/jre/lib/rt.jar
2019-04-17 10:01:48,798 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2019-04-17 10:01:48,798 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-514.el7.x86_64
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2019-04-17 10:01:48,799 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/usr/local/zookeeper-3.4.10-1/bin
2019-04-17 10:01:48,801 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@22d8cfe0
2019-04-17 10:01:48,867 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
Welcome to ZooKeeper!
JLine support is enabled
2019-04-17 10:01:49,104 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@876] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
2019-04-17 10:01:49,191 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x16a29002e510000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 2] create /data test-data
Created /data
[zk: localhost:2181(CONNECTED) 3] ls /
[zookeeper, data]
[zk: localhost:2181(CONNECTED) 4] quit
#################################
./zkCli.sh -server localhost:2182 # 登录第二个节点的客户端
...
...
[zk: localhost:2182(CONNECTED) 0] ls /       # 可以查看到我们在第一个节点上创建的znode，代表集群中的节点能够正常同步数据
[zookeeper, data]
[zk: localhost:2182(CONNECTED) 1] get /data         # 数据也是一致的
test-data
cZxid = 0x100000002
ctime = Wed Apr 17 10:03:11 CST 2019
mZxid = 0x100000002
mtime = Wed Apr 17 10:03:11 CST 2019
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 9
numChildren = 0
[zk: localhost:2182(CONNECTED) 2] quit
Quitting...
2019-04-17 10:07:05,918 [myid:] - INFO  [main:ZooKeeper@684] - Session: 0x26a29002e5a0000 closed
2019-04-17 10:07:05,924 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@519] - EventThread shut down for session: 0x26a29002e5a0000
#################################
./zkCli.sh -server localhost:2183 # 登录第三个节点的客户端
第三台同理
#####################################

  15. 查看集群的状态、主从信息需要使用 ./zkServer.sh status 命令，但是多个节点的话，逐个查看有些费劲，所以我们写一个简单的shell脚本来批量执行命令

  16. vim checked.sh # 脚本内容如下#!/bin/bash
/usr/local/zookeeper-3.4.10-1/bin/zkServer.sh status
/usr/local/zookeeper-3.4.10-2/bin/zkServer.sh status
/usr/local/zookeeper-3.4.10-3/bin/zkServer.sh status
  17. [root@localhost local]# sh ./checked.sh
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10-1/bin/../conf/zoo.cfg
Mode: follower
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10-2/bin/../conf/zoo.cfg
Mode: leader
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10-3/bin/../conf/zoo.cfg
Mode: follower

  18. 最后在附带一个zookeeper图像化客户端工具的下载地址：https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip；解压连接就可以使用了

参考：

ZooKeeper的伪分布式集群搭建以及真分布式集群搭建

Zookeeper集群搭建

猜你喜欢

转载自blog.csdn.net/qq_39669058/article/details/89350962
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
周排行
浏览器对同一域名进行请求的最大并发连接数
React Hook之自定义Hook
【转】MyBatis缓存机制
-Java-泛型
自动化测试常用脚本-发送邮件
LeetCode#859: Buddy Strings
java、Python处理字符串
第二篇の博客
Hadoop伪分布式环境安装
SQL Server进阶（十一）临时表、表变量
每日归档
更多
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022