kafka的安装

1、解压kafka软件,到config目录下vi server.properties

2、配置机器序号,比如CentOS16节点borker.id=0
CentOS17节点上面borker.id=1
CentOS18节点上面borker.id=2

3、然后启动每台节点上面的zookeeper。zkServer.sh start

4、每个节点上面执行bin/kafka-server-start.sh config/server.properties
(如果觉得麻烦,可以编写一个脚本startkafka.sh
内容为nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
然后修改权限:chmod 755 startkafka.sh )

5、创建topic(创建的topic包含三个partitions,topic的名称为demo1)
./kafka-topics.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –create –topic demo1 –partitions 3 –replication-factor 3

6、查看kafka中topic列表
./kafka-topics.sh –list –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181

7、查看kafka中topic的描述(查看demo1这个topic信息)
./kafka-topics.sh –describe –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic demo1
(查看所有./kafka-topics.sh –describe –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181)

8、用一个节点控制台来当kafka的生产者
./kafka-console-producer.sh –topic demo1 –broker-list CentOS16:9092,CentOS17:9092,CentOS18:9092

9、用另一个节点控制台来当kafka的消费者
./kafka-console-consumer.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic demo1
(关闭消费者的客户端,再次启动,如果想看之前的记录,则
./kafka-console-consumer.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic topic2017 –from-beginning)

查看zookeeper中topic相关信息:
启动zookeeper客户端:
./zkCli.sh
查看topic相关信息:
ls /brokers/topics/
查看消费者相关信息:
ls /consumers
比如查看序号为2的这台节点在topic2017上面的消费
get /consumers/console-consumer-5036/offsets/topic2017/2

kafka的leader的均衡机制
在配置文件conf/server.properties中配置开启(默认开启):
auto.leader.rebalance.enable true
其他配置:
预写日志:
spark.streaming.receiver.writeAheadLog.enable 默认false没有开启
blockInterval:
spark.streaming.blockInterval 默认200ms
反压机制:
spark.streaming.backpressure.enabled 默认false
接收数据速率:
spark.streaming.receiver.maxRate 默认没有设置

扫描二维码关注公众号,回复: 1468661 查看本文章

删除topic,以demo1为例
第一步:找到/opt/kafka-logs/ 目录下,删除所有demo1开头的文件
第二步:进入zookeeper客户端,rmr /brokers/topics/demo1
第三步:在zookeeper客户端,rmr /admin/delete_topics/demo1

猜你喜欢

转载自blog.csdn.net/zhangfengbx/article/details/78880054