Kafka提供了一些命令行工具，用于管理集群变更。这些工具使用Java实现，Kafka提供了一些脚本调用这些Java类。
9.1主题操作
使用Kafka-topics.sh工具可以执行主题大部分工作，我们可以用它创建，修改，删除和查看集群的主题。要使用该工具的全部功能，需要通过—zookeeper参数提供zookeeper连接字符串。
创建主题
创建主题需要三个参数：主题名，复制系数和分区
例如：创建名为my-topic的主题，包含8个分区，每个分区拥有2个副本
Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —create my-topic —replicaton-factor 2 —partition 8
增加分区
增加分区主要是为了扩展主题容量或者降低单个分区的吞吐量，如果单个消费者群组内运行更多消费者，也需要增加分区。
例如：将my-topic主题分区数量增加到16
Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —alter —topic my-topic —partition 16
无法减少分区数量，如果一定要删，可以先删除主题，然后重新创建
删除主题
为了删除主题，broker的delete.topic.enable必须为true，如果为false，删除主题的请求会被忽略。
Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —delete —topic my-topic
列出集群所有主题
Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —list
列出所有主题详细信息
Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —describe
使用—topics-with-overrides参数可以找到所有包含覆盖配置的主题，它会列出包含了与集群不一样的配置的主题。
有两个参数可以找出有问题的分区。
使用—under-replicated-partitions参数可以列出所有包含不同步副本的分区。
使用—unavailable-partitions参数的可以列出所有没有首领的分区。这些分区已经离线，对于生产者和消费者都不可用。
Kafka-topics.sh —zookeeper zoo1.example.com:2181/kafka-cluster —describe —under-replicated-partitions
9.2消费者群组
Kafka有两个地方保存消费者群组信息，旧版本在zookeeper，新版本在broker，Kafka-consumer-groups.sh 可以列出上述两种消费者群组。它可以用于删除消费者群组和偏移量，旧版本需要zookeeper地址，新版本需要broker地址。
列出并描述群组
示例：列出旧版本消费者群组
Kafka-consumer-groups.sh —zookeeper zoo1.example.com:2181/kafka-cluster —list
示例：列出新版本消费者群组
Kafka-consumer-groups.sh —new-consumer —bootstrap-server kafka1.example.com:9092/kafka-cluster —list
对于列出任意群组来说，使用—describe代替—list，通过—group指定特定群组就可以获取群组的详细信息。它会列出群组所有主题的信息和每个分区偏移量。
示例：列出旧版本消费者群组testgroup的详细信息
Kafka-consumer-groups.sh —new-consumer —bootstrap-server kafka1.example.com:9092/kafka-cluster —describe —group test group
删除消费者群组
只有旧版本消费者客户端支持删除群组。删除群组将从zookeeper删除群组和所有偏移量。执行操作之前，必须关闭所有消费者。
示例:删除消费者群组testgroup
Kafka-consumer-groups.sh —zookeeper zoo1.example.com:2181/kafka-cluster —delete —group test group
该命令也可以用于不删除整个群组的情况下删除单个主题的偏移量。（删除之前，必须关闭消费者）
示例：从消费者群组testgroup删除my-topic的主题偏移量。
Kafka-consumer-groups.sh —zookeeper zoo1.example.com:2181/kafka-cluster —delete —group test group —topic my-topic
偏移量管理
除了可以显示和删除消费者群组的偏移量之外，还可以获取偏移量，并保存批次的最新偏移量，从而实现偏移量重置。
1.导出偏移量
可以使用Kafka-run-class.sh调用底层Java类实现导出，会生成一个文件，包含分区和偏移量信息
示例：将群组testgroup的偏移量导出到offsets文件
Kafka-run-calss.sh kafka.tools.ExportZkoffsets —zkconnect zoo1.example.com:2181/kafka-cluster —group testgroup —output-file offsets
2.导入偏移量
导入偏移量之前，必须先关闭消费者。
示例：从offsets文件将偏移量导入消费者群组testgroup
Kafka-run-calss.sh kafka.tools.ImportZkoffsets —zkconnect zoo1.example.com:2181/kafka-cluster —group testgroup —input-file offsets
9.3动态配置变更
我们可以在集群运行状态时覆盖主题配置和客户端配置。不管是在工具还是文档，它们所说的动态配置参数都是基于主题或客户端的，都是可以被覆盖的。
覆盖主题的默认配置
更改主题配置的命令格式如下：
Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster -alter —entitiy-type topics —entity-name <topicname> —add-config key=value[key=value]
示例：将主题my-topic的消息保留时间设为1小时
Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster -alter —entitiy-type topics —entity-name my-topic —add-config retention.ms=3600000
覆盖客户端的默认配置
对于Kafka客户端来说，只能覆盖生产者配额和消费者配额。这两个参数都以字节每秒为参数，表示客户端每个broker上的生成速率和消费速率
更改客户端配置的命令如下：
Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster —alter —entity-type clients —entity-name <client id>
—add-config key=value
可用的客户端配置参数，producer_bytes-rate,consumer_bytes_rate
列出被覆盖的配置
使用命令行参数可以列出所有被覆盖的配置，从而用于检查主题和客户端配置。示例：列出主题my-topic所有被覆盖的配置
Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster —describe —entity-type topics —entity-name my-topic
移除被覆盖的配置
动态的配置完全可以被移除，从而恢复到集群的默认配置。可以使用alter命令和—delete-config参数来删除被覆盖的配置。
示例：删除主题my-topic的retention.ms覆盖配置
Kafka-configs.sh —zookeeper zoo1.example.com:2181/kafka-cluster
—alter —entity-type topics —entity-name my-topic
—delete-config retention.ms
9.4分区管理
Kafka提供两个脚本管理分区，一个用于重新选举首领，一个用于将分区分配给broker，结合这两个工具，就可以实现集群流量的负载均衡。
使用多个分区副本可以提升可靠性，不过只有其中一个副本可以成为分区首领，只有首领所在broker可以进行生产和消费活动。Kafka将副本清单第一个同步副本选为首领，但在关闭并重启broker之后，并不会自动恢复原先的首领身份。broker有一个配置可以用于启动自动首领再均衡，不过不建议在生产环境使用该功能。
通过触发首选的副本选举，可以让broker重新获得首领。当该事件被触发时，集群控制器会为分区重新选择理想的首领。也可以通过Kafka-preferred-replica-election.sh 工具手动触发选举。
示例：启动首选的副本选举
Kafka-preferred-replica-election.sh —zookeeper zoo1.example.com:2181/kafka-cluster
进行选举时，集群的元数据必须被写到zookeeper上，如果元数据超过了节点运行的大小（默认时1MB），选举就会失败。
这个时候需要把分区清单信息写到json文件，分多个步骤进行：
示例：通过在partitions.json文件里指定分区清单来启动副本选举
Kafka-perferred-replica-election.sh —zookeeper zoo1.example.com:2181/kafka-cluster —path-to-json-file partitons.json
9.4.2修改分区副本
有时需要修改分区副本，以下时需要修改分区副本的场景
1.主题分区在整个集群的不均衡分布造成集群负载不均衡
2.broker离线造成分区不同步
3.新加入的broker需要从集群获得负载。
可以使用Kafka-reassign-partitions.sh 工具来修改分区。
第一步：根据broker清单和主题清单生成一组迁移步骤；
第二步，执行迁移步骤；
第三步：可以使用生成的迁移步骤验证分区重分配的进度和完成情况。
示例：为topics.json文件里的主题生成迁移步骤，将这些主题迁移到broker0和broker1上。
Kafka-reassign-partitions.sh —zookeeper zoo1.example.com:2181/kafka-cluster —generate —topics-to-move-json-file topics.json —broker-list 0,1
这个工具会在控制台输出两个json,分别描述里当前分区和建议分区分配方案，可以把第一个json保存起来，以备回滚。
第二个json应该被保存到另一个文件，作为Kafka-reassign-partitons.sh工具的输入来执行第二个步骤。
示例：使用reassign.json来执行建议的分区分配方案
Kafka-reassign-partitions.sh —zookeeper zoo1.example.com:2181/kafka-cluster —execute —reassignment-json-file reassign.json
该命令会将指定分区的副本重新分配到新的broker上。
在重分配进行过程中或完成之后，可以使用Kafka-reassign-partitions.sh工具验证重分配的状态。
示例：验证reassign.json文件里指定的分区重分配情况。
Kafka-reassign-partitions.sh —zookeeper zoo1.example.com:2181/kafka-cluster —verify —reassignment-json-file reassign.json
9.4.3修改复制系数
分区重分配工具提供了一些特性，可以改变分区的复制系数
9.4.4转储日志片段
如果需要查看某个特定消息的内容，可以使用工具来解码分区的日志片段。该工具可以让你在不读取消息的情况下查看消息的内容。它接受一个以逗号分隔的日志片段文件清单作为参数，并打印出每个消息的概要信息和数据内容。
示例：解码日志片段0001.log,显示消息的概要信息
Kafka-run-class.sh kafka.tools.DumpLogSegments —files 0001.log
示例：解码日志片段0001.log,显示消息的数据内容
Kafka-run-class.sh kafka.tools.DumpLogSegments —files 0001.log —print-data-log
这个片段也可以用于检查日志片段的索引文件。有两个参数可以用于指定不同程度的验证，—index-sanity-check将会检查无用的索引。而—verify-index-only将会检查索引的匹配度，但不会打印出所有索引。
示例：验证日志片段0001.log索引文件的正确性
Kafka-run-class.sh kafka.tools.DumpLogSegments —files 0001.index,0001.log —index-sanity-check
9.4.5副本验证
分区复制原理与消费者客户端类似，跟随者broker定期将上一个偏移量到当前偏移量之间的数据复制到磁盘上。如果复制停止并重启，它会从上一个检查点继续复制，如果之前复制的日志被删除，跟随者不做任何补偿。
可以使用Kafka-replica-verification.sh工具验证集群分区副本的一致性。它会从指定分区副本获取消息，并检查所有副本是否具有相同消息。使用正则表达式将待验证主题的名字传给他，还需要显示提供broker地址清单。
示例：对broker1和broker2上以my-开头的主题副本进行验证
Kafka-replica-verification.sh —broker-list kafka1.example.com:9092,kafka2.example.com:9092 —topic-white-list ‘my-.*’
9.5消费和生产
如果需要手动读取和生成消息，可以借助Kafka-console-consumer.sh和Kafka-console-producer.sh两个工具，它们包装Java客户端，让用户不需要编写应用程序就可以与Kafka主题进行交互。
9.5.1控制台消费者
Kafka-console-consumer.sh 工具提供一种从一个或多个主题读取消息的方式。消息被打印到标准输出，消息之间以空行分隔，默认情况下没有格式化。
有一些参数时必选的。
第一步：指定是否要使用新版本消费者，并指导Kafka地址。如果使用旧版本消费者，只需要提供—zookeeper参数，后面跟Kafka集群的连接字符串。
第二步：需要指定主题，有三个可选参数分别是
—topic
—whitelist
—blacklist
示例：使用旧版消费者读取单个主题my-topic
Kafka-console-consumer.sh —zookeeper
zoo1.example.com:2181/Kafka-cluster —topic my-topic
除了基本参数外，也可以把其它参数传给控制台消费者，可以通过两种方式：
第一：将配置参数写到一个文件，然后通过—consumer.config filename指定配置文件
第二：直接在命令行以—consumer-property key=value的格式传递一个或多个参数。
控制台消费者的其他常用配置：
—formatter classname
指定消息格式化器的类名，用于解码消息，默认是Kafka.tools.DefaultFormatter
—from-beginning
指定从最旧的偏移量读取数据，否则就从最新偏移量开始读取
—max-messages num
指定退出之前最多读取多少消息
—partition num
指定只读取ID为num的分区
读取偏移量主题
有时候我们需要指定提交的消费者群组的偏移量少多少，这个可以通过让控制台消费者读取一个特定__consumer__offsets来实现.
为了解码这个主题，需要使用Kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter格式化器。
示例：从偏移量主题读取一个消息
Kafka-console-consumer.sh —zookeeper zoo1.example.com:2181/kafka-cluster —topic __consumer__offsets —formatter ‘kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter’
9.5.2控制台生产者
Kafka-console-producer.sh工具可以用于想Kafka主题写入消息。默认情况下，一行时一个消息，键值以tab分隔，如果没有tab,那么键为null
有两个参数必须指定：
—broker-list参数指定了一个或多个broker，逗号分隔
—topic指定了目标主题
与控制台消费者一样，控制台生产者可以接受普通生产者的配置参数，通过两种方式实现：
第一：通过—producer.config file指定配置文件
第二：在命令行—producer-property key=value传递一个或多个参数
有很多参数可以调整行为：
—key-serializer classname
指定消息键的编码器名
—value-serializer classname
指定消息的value的编码器名
—compression-codec string
指定压缩类型
—sync
指定以同步方式生成消息，也就是说，发送下一个消息之前会等待当前消息得到确认。
9.7不安全的操作
移动集群控制器
取消分区重分配
移动待删除的主题
手动删除主题