(五)Kafka 学习笔记之属性参数

Kafka之相关参数配置

replication factor 副本因子
在 Topic 级别中,可以配置某个 Topic 的副本因子,在 Broker 级别可以配置默认的副本因子,作为自动创建的 Topic 的副本因子。

一般默认使用的 Topic 副本因子是 3,即每个 Partition 被复制成了 3 份,分别位于在 3 个不同的 Broker 上。用户可以更改这个配置,即使在创建 Topic 之后,也可以更改副本因子。

如果副本因子是 N,那么即使 Kafka 损失了 N-1 个副本的情况下,仍然可以保证此 Topic 的可靠读写操作。所以,副本因子值越大,可用性越高,可靠性越高。但是需要的存储空间也越大,因为每一个副本存在于不同的 Broker 上。

unclean leader election (不洁的leader选举)
此配置只在集群中的 Broker 级别有效。配置参数名称为 unclean.leader.election.enable ,默认值为 true。该设置允许不同步的副本作为 leader。如果为 false,则不允许不同步的副本作为 leader。因此该选项会导致数据的丢失或数据不一致的风险。

minimum in-sync replicas 最小同步副本
该配参数主要保证最少需要多少个同步副本工作。如果同步副本少于设置参数的个数,Producer 将会收到 NotEnoughReplicasException 异常信息。但是 Consumer 读取消息数据不受影响。

上述三个参数配置了 Broker 的可靠性。如果 Producer不可靠,那么系统依然不可靠。

所以对于Producer程序,需要:
1、使用正确的acks配置参数来匹配可靠性需求;
2、在代码或者配置项中正确处理异常。

猜你喜欢

转载自blog.csdn.net/dec_sun/article/details/89389608
今日推荐