认识KafKa-数据一致性参数

版权声明:路漫漫其修远兮,吾将上下而求索。 https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86305345

partitions数据一致性

KafKa中Producer发送消息到Broker,Broker有三种返回方式,分别为

  • Noack
  • leader commit成功就ack
  • leader和follower同时commit成功才返回ack
  • 第三种方式是数据强一致性

request.required.acks

  • producer向leader发送数据时,可以通过request.required.acks参数设置数据可靠性的级别
  • 1(默认):这意味着producer在ISR中的leader已成功接收到数据。如果leader宕机了,则会丢失数据。
  • 0:这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高,但是数据可靠性确实最低的。
  • -1:producer需要等待ISR中所有follower都确认接收到数据后才算一次发送完成,可靠性最高。但是这样也不能保证数据不丢失,比如当ISR中只有Leader时(ISR中的成员由于某些情况会增加也会减少,最少就只剩下一个leader),这样就变成acks=1的情况。

request.required.acks=1

  • producer发送数据到leader,leader写本地日志成功,返回客户端成功。
  • 此时ISR中的副本还没来得及拉取该消息,leader就宕机了,那么此次发送的消息就会丢失。
    在这里插入图片描述

request.required.acks=-1

  • 同步(KafKa默认同步,即producer.type=sync)的发送模式
  • 要min.insync.replicas参数(可以在broker或者topic层面进行设置)的配合,才能发挥最大的功效
  • replication.factor>=2且min.insync.replicas>=2的情况下,不会丢失数据
    在这里插入图片描述

min.insync.replicas

  • 这个参数在broker或者topic层面进行设置
  • 这个参数设定ISR中的最小副本数是多少,默认值为1
  • 当且仅当request.required.acks参数设置为-1时,此参数才生效。如果ISR中的副本数少于min.insync.replicas配置的数量时,客户端会返回异常:
org.apache.kafka.common.errors.NotEnoughReplicasExceptoin:Messages are rejected since there are fewer in-sync replicas than required

猜你喜欢

转载自blog.csdn.net/Happy_Sunshine_Boy/article/details/86305345
今日推荐