一、topic队列操作
1.1、查看topic列表
kafka-topics.sh \
--zookeeper 192.168.8.99:2181 \
--list
1.2、创建topic队列
kafka-topics.sh --create \
--zookeeper 192.168.8.99:2181 \
--partitions 1 \
--replication-factor 1 \
--topic topic_name
1.3、查看topic详细信息
kafka-topics.sh \
--zookeeper 192.168.8.99:2181 \
--describe \
--topic topic_name
1.4、删除topic队列
kafka-topics.sh \
--delete \
--zookeeper 192.168.8.99:2181 \
--topic topic_name
二、队列消息操作
2.1、生产队列消息
kafka-console-producer.sh \
--broker-list 192.168.8.99:9092 \
--topic topic_name
2.2、消费队列消息
kafka-console-consumer.sh \
--bootstrap-server 192.168.8.99:9092 \
--from-beginning \
--topic topic_name
2.3、查看消息队列每个分区中的数量
kafka-run-class.sh kafka.tools.GetOffsetShell \
--broker-list 192.168.8.99:9092 \
-time -1 \
--offsets 1 \
--topic topic_name
三、执行Flume将数据写入Kafka
flume-ng agent \
-n train \
-c /opt/flume/conf/ \
-f /opt/flume/conf/jobkb09/train-flume-kafka.conf \
-Dflume.root.logger=INFO,console