topic是逻辑上的概念,
partition是物理上的概念
kafka partition位置
/var/local/kafka/data
kafka消息默认保存时间为7天
0000000000.log文件默认值最大为1G, 超过1G 会产生一个新的文件
由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据定位效率低下,
kafka采取了分片和索引机制。 将每个partition分为多个segment。 每个segment对应两个文件“.index”文件、 “.log”文件。
这些文件位于一个文件夹下,文件夹命名规则为:topic名称+分区序号
.index 和 .log 文件的命名规则就是当前文件的最小offset值(偏移量值)
.index文件:只存索引,存的每条消息数据的起始的偏移量信息。
index中的每条信息存的大小都是固定的,因为只有偏移量信息,所以有利于查找。
.log文件:存具体的数据,序列化的数据