kafka craft 尝鲜

大数据技术AI

Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料

114篇原创内容

公众号

1、Kafka-Kraft架构

左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。

右图为kraft模式架构（实验性），不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。

这样做的好处有以下几个：

Kafka不再依赖外部框架，而是能够独立运行；
controller管理集群时，不再需要从zookeeper中先读取数据，集群性能上升；
由于不依赖zookeeper，集群扩展时不再受到zookeeper读写能力限制；
controller不再动态选举，而是由配置文件规定。这样我们可以有针对性的加强controller节点的配置，而不是像以前一样对随机controller节点的高负载束手无策。

2、Kafka-Kraft集群

2.1 解压一份kafka安装包

[duo@hadoop01 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/data/

2.2 在hadoop01上修改config/kraft/server.properties配置文件

[duo@hadoop01 kraft]$ vim server.properties

#kafka的角色（controller相当于主机、broker节点相当于从机，主机类似zk功能）
process.roles=broker, controller
#节点ID
node.id=2
#controller服务协议别名
controller.listener.names=CONTROLLER
#全Controller列表
controller.quorum.voters=2@hadoop01:9093,3@hadoop02:9093,4@hadoop03:9093
#broker对外暴露的地址
advertised.Listeners=PLAINTEXT://hadoop01:9092

hadoop01：

hadoop02：

hadoop03：

2.3 分发kafka

[duo@hadoop01 data]$ xsync kafka_2.12-3.0.0/

在hadoop02和hadoop03上需要对node.id相应改变，值需要和controller.quorum.voters对应。
在hadoop02和hadoop03上需要根据各自的主机名称，修改相应的advertised.Listeners地址。

2.4 初始化集群数据目录

（1）首先生成存储目录唯一ID。

[duo@hadoop01 kafka]$ bin/kafka-storage.sh random-uuid
IbY24Ky1Tjq-rUY6AMayxw

（2）用该ID格式化kafka存储目录（三台节点）。

[duo@hadoop01 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

[duo@hadoop02 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

[duo@hadoop03 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

2.5 启动kafka集群

[duo@hadoop01 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[duo@hadoop02 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[duo@hadoop03 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

2.6 停止kafka集群

[duo@hadoop01 kafka]$ bin/kafka-server-stop.sh
[duo@hadoop02 kafka]$ bin/kafka-server-stop.sh
[duo@hadoop03 kafka]$ bin/kafka-server-stop.sh

3、Kafka-Kraft集群启动停止脚本

1）在/home/duo/bin目录下创建文件kafka_craft.sh脚本文件

[duo@hadoop01 bin]$ vim kafka_craft.sh

脚本如下：

#! /bin/bash

case $1 in
"start"){
    for i in hadoop01 hadoop02 hadoop03
    do
        echo " --------启动 $i kafka-------"
        ssh $i "/opt/data/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties"
    done
};;
"stop"){
    for i in hadoop01 hadoop02 hadoop03
    do
        echo " --------停止 $i kafka-------"
        ssh $i "/opt/data/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
    done
};;
esac

2）添加执行权限

[duo@hadoop01 bin]$ chmod +x kafka_craft.sh

3）启动集群命令

[duo@hadoop01 ~]$ kafka_craft.sh start

4）停止集群命令

[duo@hadoop01 ~]$ kafka_craft.sh stop

4、测试kafka-craft集群

创建topic：

生产数据：

消费数据：