kafka的数据结构

一个topic是一个逻辑的概念,一个topic对应多个partition,每个partition在一个broker中,一个partition会有多个replication放到自己和其他的broker中,比如如果8个broker,每个partition会有自己一个,还有4个副本,也就是5个部分。如果该partition的编号是2

那么自己会被放到2号broker(从0开始编号),其他的四个放到3-6中。

每一个partition中,消息(假设400K一个文件),那么前N条message,满0-399K,放到第一个0000000000399.log中,然后会有一个000000000000399.index文件,稀疏的放着对应log文件中的索引(目录)

猜你喜欢

转载自www.cnblogs.com/chuliang/p/9009576.html