60-130-336-源码-source-kafka相关-Flink读取kafka

1.美图

2.概述

​ 在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。

3.Apache Kafka Source Connectors

​ Apache Kafka 是一个分布式的流平台，其核心是一个分布式的发布-订阅消息系统，被广泛用于消费与分发事件流。

​ Kafka将事件流组织成为topics。一个topic是一个事件日志（event-log），保证读入事件的顺序为事件写入的顺序。为了实现可扩展，topic可以被分为多个partition，并分布在集群中的各个节点中。但是在topic分区后，由于consumers可能会从多个partition读入数据，所以此时只能在partition级别保证事件的顺序。在Kafka中，当前读的位置称为偏移量（offset）。

可以通过sbt或maven构建Flink Kafka connector 的依赖，下面是一个sbt的例子：

https://mvnrepository.com/artifact/or