Kafka学习笔记（五、Kafka偏移量）

目录：

• MetaData信息
• Kafka偏移量

MetaData信息

客户端如何知道该往哪个节点发送请求来获取数据：通过元数据。

元数据（MetaData）是什么：topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。

一般情况下客户端会缓存元数据，并直接往目标broker上发送生产和获取请求，并且客户端还会定时的刷新自己的元数据。

Kafka偏移量

说偏移量之前先介绍下Kafka GUI（Kafka graphical user interface），因官方没有提供，所以采用使用较多的工具。

• Kafka Tool地址: http://www.kafkatool.com/download.html
• Kafka Manager地址: https://github.com/yahoo/kafka-manager
• KafkaOffsetMonitor地址: https://github.com/Morningstar/kafka-offset-monitor

KafkaOffsetMonitor配置：

KafkaOffsetMonitor启动脚本(如: kafkaoffset_monitor.sh，记得给脚本赋执行权限)

java -cp KafkaOffsetMonitor-assembly 0.46-SNAPSHOT.jar \
         com.quantifind.kafka.offsetapp.OffsetGetterWeb\
--offsetStorage kafka \
--kafkaBrokers ip1:port1,ip2:port2,ip3:port3 \
--zk ip1:port1,ip2:port2,ip3:port3 \
--port 8088\
--refresh 10.seconds \
--retain 2.days

• --offsetStorage：指明offset信息由kafka来保存，而非zookeeper
• --refresh：多少秒刷新一次信息
• --retain：信息保存到数据库多少天