kafka生产者消息分区策略

前言

众所周知,kafka的topic具有分区的概念,生产者写入数据到kafka之后,涉及到数据到底写到哪个分区?

常用的分区写入策略

生产者写入消息到topic,Kafka将依据不同的策略将数据分配到不同的分区中,具体来说,kafka提供了几种常用的分区写入策略:

  • 轮询分区策略
  • 随机分区策略
  • 按key分区分配策略
  • 自定义分区策略

下面就来具体看看各自分区写入策略的机制吧

轮询策略

  1. kafka的默认的策略,也是使用最多的策略,可以最大限度保证所有消息平均分配到一个分区
  2. 如果在生产消息时,key为null,则使用轮询算法均衡地分配分区

在这里插入图片描述

随机策略(很少用)

随机策略,每次随机地将消息分配到各个分区。在较早的版本里面,默认的分区策略就是随机策略,也是为了将消息均衡地写入到每个分区。但后续轮询策略表现更佳,所以基本上很少会使用随机策略。<

猜你喜欢

转载自blog.csdn.net/zhangcongyi420/article/details/111768709