004.Kafka消息存储和处理

Message存储:
    Topic有多个Partition,一个Partition对应一个log,一个log有多个Segment。
    每个Segment存储多个Message,Message的offset决定存储位置。
    Broker接收到Message会顺序追加到最后一个Segment中,当Segment的Message达到阈值时(大小或条数),
    Segment会将Message写入磁盘中,只有flush到磁盘中的消息才能够被订阅和消费,当Segment达到一定大小时将不会再写入数据,
    Broker会生成新的Segment。
    
    每个Partition在内存中对应一个index,记录每个Segment的第一个消息的offset。
 
Message处理:
    Producer生产Message并推(push)到Broker中,Consumer消费Message从Broker中拉(pull),并将消费过的消息的offset存储在Zookeeper中,在Consumer宕机重启时,能够从最近的offset开始继续消费Message。
    Producer将消息push到Broker上,Kafka采用的是at least once最少发送一次,发送失败将多次发生,达到阈值时,将不再发送;
    Consumer 从Broker中pusll消息 消费时,使用ack机制,并将消息的消费状态保持在zookeeper中。
    Kafka通过 at least once和ack保证Message的事务性。
 
    Broker只负责消息存储,不负责消息消费状态维护,有 Consumer主机维护。
    Broker对消息的删除,采用时间机制,默认保留7天,否则删除过期消息。
    

猜你喜欢

转载自nweiren.iteye.com/blog/2230046