小记--------kafka文件存储机制

 
topic是逻辑上的概念,
partition是物理上的概念
 
kafka partition位置
/var/local/kafka/data
 
kafka消息默认保存时间为7天
0000000000.log文件默认值最大为1G, 超过1G 会产生一个新的文件
 
 
 
由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据定位效率低下,
kafka采取了分片和索引机制。  将每个partition分为多个segment。  每个segment对应两个文件“.index”文件、 “.log”文件。
    这些文件位于一个文件夹下,文件夹命名规则为:topic名称+分区序号   
    .index 和 .log 文件的命名规则就是当前文件的最小offset值(偏移量值)
 
.index文件:只存索引,存的每条消息数据的起始的偏移量信息。
    index中的每条信息存的大小都是固定的,因为只有偏移量信息,所以有利于查找。
 
.log文件:存具体的数据,序列化的数据
 

猜你喜欢

转载自www.cnblogs.com/yzqyxq/p/12764796.html