一、单节点多Broker
配置参考官方给的参考文档,一台机器上配置3个kafak
(1) copy 之前设置的server.properties配置文件
cp server.properties server-1.properties
cp server.properties server-2.properties
cp server.properties server-3.properties
server-1.properties修改如下参数
broker.id =1
listeners=PLAINTEXT://:9093
log.dir=/home/hadoop/app/tmp/kafka-logs1
server-2.properties修改如下参数
broker.id =2
listeners=PLAINTEXT://:9094
log.dir=/home/hadoop/app/tmp/kafka-logs2
server-3.properties修改如下参数broker.id =3
listeners=PLAINTEXT://:9095
log.dir=/home/hadoop/app/tmp/kafka-logs3
启动指令如下:
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties
使用jps查看,将会看到3个kafka进程,使用jps -m查看进程使用的config文档。
kafka使用:
1.创建topic信息
kafka-topics.sh --create --zookeeper localhost:2181 --replicaton-factor(副本数) 3 --partitons 1 --topic "my-replicated-topic"d
查看topic使用kafka-topics.sh --list --zookeeper localhost:2181
查看详细信息:kafka-topics.sh --describe --zookeeper localhost:2181 ,此时的leader:主的broker ,replicas:代表副本对应的broker id 号, Isr:代表活着的broker
2.发送消息
kafka-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic my-replicated-topic
然后启动一个消费者进行消费:
kafka-console-consumer.sh --zookeeper localhost:2181 ---topic my-replicated-topic
进行测试即可。
多节点多broker和单节点多broker的配置相似,具体请参考官网。