kafka中Replication相关概念-"悟空智慧教育"

replication相关概念:

ISR(In-Sync Replicas):副本同步列表【包含Leader和Follower

OSR(Outof-Sync Replicas):由于同步落后而被剔除的副本列表,阈值参数:replica.lag.time.max.ms

AR(Assigned Replicas):所有副本集;AR = ISR + OSR

清楚LEOHWISR之间的相互关系是了解Kafka底层数据同步的关键:

每个Partition都会有自己独立的HW,与此同时leader和follower都会负责维护和更新自己的HW。对于leader新写入的消息,Consumer不能立刻被发现并进行消费,leader会等待该消息被ISR中所有的replica同步更新HW后,此时leader才会更新该partition的HW为之前新写入消息的offset,此时该消息对外才可见。

leader接受到一条消息后,需要等待ISR中所有的replica都同步复制完成以后,该消息才能被消费。如果在同步的过程中,ISR中如果有follower replica的同步落后延迟超过了阈值,则会被leader从ISR中剔除;只要ISR中所有的replica均同步成功,则该消息就一定不会丢失。从数据的角度出发,这种方式很契合一致性的需求

以上文章内容来源于《悟空智慧教育》:www.wukongone.com,《悟空智慧教育》是一家专业的大数据视频教学网,专属定制您的未来。

猜你喜欢

转载自www.cnblogs.com/wukongone/p/11900643.html