版权声明:话不在多,在于精 https://blog.csdn.net/qq_29857681/article/details/88525814
以下内容摘自:Kafka权威指南 第五章 5.2小节
脑裂问题
什么是脑裂?
kafka中只有一个控制器controller 负责分区的leader选举,同步broker的新增或删除消息,但有时由于网络问题,可能同时有两个broker认为自己是controller,这时候其他的broker就会发生脑裂,不知道该听从谁的。
如何解决?controller epoch
每当新的controller产生的时候就会在zk中生成一个全新的、数值更大的controller epoch的标识,并同步给其他的broker进行保存,这样当第二个controller发送指令时,其他的broker就会自动忽略。
选举问题
每个消息有自己的topic 每个topic有多个分区 多个分区位于不同的broker 每个分区有一个主分区和多个从分区。
每个分区都有一个主分区(leader)和多个从分区(fowller) 当一个broker宕机时,存在与该broker的主分区也会停止服务,因此要重新选举新的leader分区。
如何选举
控制器会从zk中读取ISR列表 选取下一个有效的分区副本成为新的leader
Kafka会在Zookeeper上针对每个Topic维护一个称为ISR(in-sync replica,已同步的副本)的集合,该集合中是一些分区的副本。如果这个集合有增减,kafka会更新zookeeper上的记录。