kafka 有序性和偏移量offset

Kafka分布式的单位是partition，同一个partition用一个write ahead log组织，所以可以保证FIFO的顺序。不同partition之间不能保证顺序。

Apache Kafka官方保证了partition内部的数据有效性（追加写、offset读）；为了提高Topic的并发吞吐能力，可以提高Topic的partition数，并通过设置partition的replica来保证数据高可靠；但是在多个Partition时，不能保证Topic级别的数据有序性。

因此，如果想用kafka 但是对数据有序性有严格要求，那建议：创建Topic只指定1个partition，坏处是磨灭了kafka最优秀的特性。所以可以思考下技术选型是否合适， kafka本身适合与流式大数据量，要求高吞吐，对数据有序性要求不严格的场景。

传统队列与Kafka 有序性区别：

传统的队列在服务器上保存有序的消息，如果多个consumers同时从这个服务器消费消息，服务器就会以消息存储的顺序向consumer分发消息。虽然服务器按顺序发布消息，但是消息是被异步的分发到各consumer上，所以当消息到达时可能已经失去了原来的顺序，这意味着并发消费将导致顺序错乱。为了避免故障，这样的消息系统通常使用“专用consumer”的概念，其实就是只允许一个消费者消费消息，当然这就意味着失去了并发性。

在这方面Kafka做的更好，通过分区的概念，Kafka可以在多个consumer组并发的情况下提供较好的有序性和负载均衡。将每个分区只分发给一个consumer组，这样一个分区就只被这个组的一个consumer消费，就可以顺序的消费这个分区的消息。因为有多个分区，依然可以在多个consumer组之间进行负载均衡。注意consumer组的数量不能多于分区的数量，也就是有多少分区partition 就允许多少并发消费。

Kafka只能保证一个分区之内消息的有序性，在不同的分区之间是不可以的，这已经可以满足大部分应用的需求。如果需要topic中所有消息的有序性，那就只能让这个topic只有一个分区，当然也就只有一个consumer组消费它。

Kafka 偏移量Offset：

由于Kafka的 topic 中的数据是顺序存储的，不允许插入。对于读取到哪条数据，是由客户端进行控制的偏移量的。

Kafak 提供了两套API控制offset。

1、High API ：一般spark默认使用的，同一个group 通过zookeeper 进行控制offset。

JavaStreamingContext jscontext = new JavaStreamingContext(sc, Durations.seconds(streamPeriod));

// 获取kafka数据流
JavaPairDStream<String, String> line = KafkaUtils.createDirectStream(jscontext, String.class, 
    String.class, StringDecoder.class, StringDecoder.class, map, topicsSet).repartition(streamPartitions);

2、Low API：可以自己控制offset等。

在Spark streaming 中，checkpoint 里记录了offset，所以清空checkpoint 目录后，会从当前时间（auto.offset.reset设置）处读取数据。

详见：https://blog.csdn.net/hblfyla/article/details/73181098

 // 创建包含brokers和topic的直接kafka流
    val topicsSet: Set[String] = topics.split(",").toSet
    //kafka配置参数
    val kafkaParams: Map[String, String] = Map[String, String](
      "metadata.broker.list" -> brokers,
      "group.id" -> "apple_sample",
      "serializer.class" -> "kafka.serializer.StringEncoder"
//      "auto.offset.reset" -> "largest"   //自动将偏移重置为最新偏移（默认）
//      "auto.offset.reset" -> "earliest"  //自动将偏移重置为最早的偏移
//      "auto.offset.reset" -> "none"      //如果没有为消费者组找到以前的偏移，则向消费者抛出异常
    )
    /**
      * 从指定位置开始读取kakfa数据
      * 注意：由于Exactly  Once的机制，所以任何情况下，数据只会被消费一次！
      *      指定了开始的offset后，将会从上一次Streaming程序停止处，开始读取kafka数据
      */
    val offsetList = List((topics, 0, 22753623L),(topics, 1, 327041L))                          //指定topic，partition_no，offset
    val fromOffsets = setFromOffsets(offsetList)     //构建参数
    val messageHandler = (mam: MessageAndMetadata[String, String]) => (mam.topic, mam.message()) //构建MessageAndMetadata
   //使用高级API从指定的offset开始消费，欲了解详情，
   //请进入"http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.streaming.kafka.KafkaUtils$"查看
    val messages: InputDStream[(String, String)] = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder, (String, String)](ssc, kafkaParams, fromOffsets, messageHandler)

auto.offset.reset：

earliest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
latest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
none
topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常

详见：https://blog.csdn.net/lishuangzhe7047/article/details/74530417

kafka 有序性和偏移量offset

猜你喜欢