Flink——状态管理、算子状态、状态后端、processFunction

1. flink 状态管理包含哪些?

Flink 会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑。

2. flink 状态的类型?

  • 算子状态(Operator State)
    算子状态的作用范围限定为算子任务

  • 键控状态(Keyed State)
    根据输入数据流中定义的键(key) 来维护和访问

3. 算子状态的特点?

  • 算子状态的作用范围限定为算子任务,由同一并行任务所处理的所有数据都可以访问到相同的状态
  • 状态对于同一任务而言是共享的
  • 算子状态不能由相同或不同算子的另一个任务访问

4. 算子状态的数据结构?

  • 列表状态(List state)
    将状态表示为一组数据的列表

  • 联合列表状态(Union list state)

    也将状态表示为数据的列表。它与常规列表状态的区别在于,在发生故障时,或者从保存点(savepoint) 启动应用程序时如何恢复

  • 广播状态(Broadcast state)

    如果一个算子有多项任务,而它的每项任务状态又都相同,那么这种特殊情况最适合应用广播状态。

5. 键控状态特点?

  • 键控状态是根据输入数据流中定义的键(key) 来维护和访问的

  • Flink为每个key维护一一个状态实例,并将具有相同键的所有数据,都分区到同一个算子任务中,这个任务会维护和处理这个key对应的状态

  • 当任务处理一条数据时, 它会自动将状态的访问范围限定为当前数据的key

6. 键控状态的数据结构?

  • 值状态(Value state)
    将状态表示为单个的值

  • 列表状态(List state)
    将状态表示为一组数据的列表

  • 映射状态(Map state)
    将状态表示为一-组Key-Value对

  • 聚合状态(Reducing state & Aggregating State)
    将状态表示为一个用于聚合操作的列表

7. 什么是状态后端?

  • 每传入一条数据,有状态的算子任务都会读取和更新状态

  • 由于有效的状态访问对于处理数据的低延迟至关重要,因此每个并行任务都会在本地维护其状态,以确保快速的状态访问

  • 状态的存储、访问以及维护,由一个可插入的组件决定,这个组件就叫做状态后端(state backend)

8. 状态后端的职责?

状态后端主要负责两件事:
1)本地的状态管理;
2)将检查点(checkpoint)状态写入远程存储

9. 状态后端的类型?

  • MemoryStateBackend

    1)内存级的状态后端,会将键控状态作为内存中的对象进行管理,将它们存储在TaskManager的JVM堆上,而将checkpoint存储在JobManager的内存中

    2)特点:快速、低延迟,但不稳定

  • FsStateBackend

    1)将checkpoint存到远程的持久化文件系统(FileSystem) 上,而对于本地状态,跟MemoryStateBackend一 样,也会存在TaskManager的JVM堆上

    2)同时拥有内存级的本地访问速度,和更好的容错保证

  • RocksDBStateBackend

    将所有状态序列化后,存入本地的RocksDB中存储。

10. 什么是processfunction 函数?

  • ProcessFunction是一个低阶的流处理操作,它可以访问流处理程序的基础构建模块:

    1. 事件(event)(流元素)
    2. 状态(state)(容错性,一致性, 仅在keyed stream中)
    3. 定时器(timers)(event time和processing time,仅在keyed stream中)
  • ProcessFunction可以看作是一个具有keyed state和timers访问权的FlatMapFunction

    1. 通过RuntimeContext访问keyed state
    2. 计时器允许应用程序对处理时间和事件时间中的更改作出响应。对processElemet…)函 数的每次调用都获得一个Context对象,该对象可以访问元素的event time timestamp和TimerService
    3. TimerService’可用于为将来的event/process time瞬 间注册回调。当到达计时器的特定时间时,将调用onT1imer…)方法。在该调用期间,所有状态都再次限定在创建计时器时使用的键的范围内,从而允许计时器操作键控状态

11. processfunction 函数有哪些?

Flink 提供了 8 个 Process Function:

​ ProcessFunction

​ KeyedProcessFunction

​ CoProcessFunction

​ ProcessJoinFunction

​ BroadcastProcessFunction

​ KeyedBroadcastProcessFunction

​ ProcessWindowFunction

​ ProcessAllWindowFunction

12. 什么是侧输出流?

Flink 处理数据流时,我们经常会遇到这种情况:在处理一个数据源时,往往需要将该数据源中的不同类型的数据做分割处理,如果使用filter算子对数据源进行筛选分割的话,势必会造成数据流的多次复制,造成不必要的性能浪费;

Flink中的侧输出就是将数据流进行分割,而不对流进行复制的一种分流机制,flink的侧输出的另一个作用就是对延时迟到的数据进行处理,这样就可以不必丢弃迟到的数据。

案例:假设我们的需求是实时的从kafka接收生产数据,我们需要对迟到超过一定时长的数据进行另行处理。

猜你喜欢

转载自blog.csdn.net/Aying_seeyou/article/details/107417424