Kafka 单节点多Broker部署及使用

一、单节点多Broker

配置参考官方给的参考文档,一台机器上配置3个kafak

(1) copy 之前设置的server.properties配置文件

 cp server.properties server-1.properties

 cp server.properties server-2.properties

 cp server.properties server-3.properties

server-1.properties修改如下参数

broker.id =1 

listeners=PLAINTEXT://:9093

log.dir=/home/hadoop/app/tmp/kafka-logs1

server-2.properties修改如下参数

broker.id =2

listeners=PLAINTEXT://:9094

log.dir=/home/hadoop/app/tmp/kafka-logs2

server-3.properties修改如下参数

broker.id =3

listeners=PLAINTEXT://:9095

log.dir=/home/hadoop/app/tmp/kafka-logs3

启动指令如下:

kafka-server-start.sh  -daemon  $KAFKA_HOME/config/server-1.properties &

kafka-server-start.sh  -daemon  $KAFKA_HOME/config/server-2.properties  &

kafka-server-start.sh  -daemon  $KAFKA_HOME/config/server-3.properties 

使用jps查看,将会看到3个kafka进程,使用jps -m查看进程使用的config文档。

kafka使用:

1.创建topic信息

kafka-topics.sh  --create --zookeeper localhost:2181 --replicaton-factor(副本数) 3 --partitons 1 --topic "my-replicated-topic"d

查看topic使用kafka-topics.sh --list --zookeeper localhost:2181

查看详细信息:kafka-topics.sh --describe --zookeeper localhost:2181 ,此时的leader:主的broker ,replicas:代表副本对应的broker id 号,  Isr:代表活着的broker

2.发送消息

kafka-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic my-replicated-topic

然后启动一个消费者进行消费:

kafka-console-consumer.sh  --zookeeper localhost:2181 ---topic my-replicated-topic

进行测试即可。

多节点多broker和单节点多broker的配置相似,具体请参考官网。




猜你喜欢

转载自blog.csdn.net/fengfengchen95/article/details/80328491