管理kafka

一.主题操作
使用kafka-topics.sh工具可以执行主题的大部分操作（配置变更部分已被启用并被移动到kafka-configs.sh工具中）。
我们可以用它创建、修改、删除和查看集群里的主题，要使用该工具的全部功能，需要通过 --zookeeper 参数提供zookeeper的连接字符串。

1.创建主题
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --create  --topic my-topic --replication-factor 2 --partitions 8

2.列出所有主题
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

3.列出主题详细信息
列出全部
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe  

列出某一个主题详细信息
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic my-topic


4.删除主题
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --delete  --topic my-topic  

5.增加分区
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --alter  --topic my-topic  --partitions 16

6.减少分区数量
无法减少分区数量。
因为如果删除了分区，分区里的数据也一并被删除，导致数据不一致。
如果一定要减少分区数量，只能删除整个主题，然后重建。


二.消费者群组
在kafka里，有两个地方保存着消费者群组的消息。对于旧版本的消费者来说，他们的信息保存在zookeeper上，对于新版本的消费者来说，信息保存在broker上。
1.列出并描述群组--旧版本的消费者客户端
列出旧版本的消费者群组
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

获取旧版本

2.列出并描述群组--新版本的消费者客户端
列出新版本的消费者群组
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-consumer-groups.sh --new-consumer  --bootstrap-server 127.0.0.1:9092 --list

获取旧版本消费者群组testgroup的详细信息
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --describe --group testgroup

3.删除群组
从消费者群组testgroup里删除my-top主题的偏移量
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --delete --group testgroup --topic my-topic


三.偏移量管理
1.导出偏移量
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-consumer-groups.sh --zkconnect 127.0.0.1:2181 --group testgroup --output-file offsets

2.导入偏移量
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-consumer-groups.sh --zkconnect 127.0.0.1:2181 --group testgroup --input-file offsets


四.动态配置变更
更改主题配置的命令格式如下：
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-configs.sh --zookeeper 127.0.0.1:2181  --alter --entity-type topics --entity-name <top name>  --add-config <key>=<value>[,<key>=<value>...]