分布式流平台之kafka 如何避免脑裂?如何选举leader?

版权声明:话不在多,在于精 https://blog.csdn.net/qq_29857681/article/details/88525814

以下内容摘自:Kafka权威指南 第五章 5.2小节

脑裂问题

什么是脑裂?

kafka中只有一个控制器controller 负责分区的leader选举,同步broker的新增或删除消息,但有时由于网络问题,可能同时有两个broker认为自己是controller,这时候其他的broker就会发生脑裂,不知道该听从谁的。

如何解决?controller epoch

每当新的controller产生的时候就会在zk中生成一个全新的、数值更大的controller epoch的标识,并同步给其他的broker进行保存,这样当第二个controller发送指令时,其他的broker就会自动忽略。

选举问题

每个消息有自己的topic 每个topic有多个分区 多个分区位于不同的broker 每个分区有一个主分区和多个从分区。

每个分区都有一个主分区(leader)和多个从分区(fowller)  当一个broker宕机时,存在与该broker的主分区也会停止服务,因此要重新选举新的leader分区。

如何选举

控制器会从zk中读取ISR列表 选取下一个有效的分区副本成为新的leader

 Kafka会在Zookeeper上针对每个Topic维护一个称为ISR(in-sync replica,已同步的副本)的集合,该集合中是一些分区的副本。如果这个集合有增减,kafka会更新zookeeper上的记录。

猜你喜欢

转载自blog.csdn.net/qq_29857681/article/details/88525814