[大数据面试]-- 5.Flink 题目

========= 基础 =========

1、Flink 的 抽象层次有几种

Stateful stream processing

Core API

Table

SQL

2、Window 类型

(1)TimeWindow

Tumbling Window(滚动窗口)

Sliding Window(滑动窗口)

Session Window(会话窗口)

Global Window(全局窗口)

(2)countWindow

(3)自定义window

3、Time 类型

事件时间、注入时间和Processing Time

4、Checkpoint的理解

  • 轻量级容错机制(全局异步,局部同步)
  • 保证exactly-once 语义
  • 用于内部失败的恢复
  • 基本原理:通过往source 注入barrier,barrier作为checkpoint的标志

5、Savepoint

  • 流处理过程中的状态历史版本
  • 具有可以replay的功能
  • 外部恢复(应用重启和升级)
  • 两种方式触发:Cancel with savepoint,手动主动触发

$s bin/flink savepoint :jobId [:targetDirectory]

$ bin/flink cancel -s [:targetDirectory] :jobId

6、Flink runtime architecture

  • Job Manager
  • Task Manger
  • Client
  • 角色间的通信(Akka)
  • 数据的传输(Netty)

7、什么是solts

solts :槽,slot 的数量通常与每个 TaskManager 的可用 CPU 内核数成比例。

一般情况下你的 slot 数是你每个 TaskManager 的 cpu 的核数。

8、什么是状态

  • Definition

task/operator在某个时刻的中间结果

Snapshot

  • Effect:记录状态并且在失败时用于恢复
  • Basic type:Operator state、Keyed state

9、RestartStrategies

https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/restart_strategies.html

4种重启策略

10、statebacked有几种(3种)

https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/state/state_backends.html

//env.setStateBackend(new MemoryStateBackend());

//env.setStateBackend(new FsStateBackend("hdfs://hadoop100:9000/flink/checkpoints"));

//env.setStateBackend(new RocksDBStateBackend("hdfs://hadoop100:9000/flink/checkpoints",true));

11、运行模式

Job模式

独享Dispatcher和ResourceManager

资源按需申请

适合⼤大作业

Session模式

共享Dispatcher和ResourceManager

共⽤用TaskManager

适合规模⼩小,运⾏行行时间短的作业

12、全量聚合和增量聚合 window

全量聚合:ProcessWindowFunction
增量聚合:ReduceFunction、AggregateFunction、FoldFunction

========= 进阶 =========

1、4种方法调优Flink

https://www.iteblog.com/archives/2303.html

2、flink kafka consumer 正则消费,多分区动态发现

https://www.cnblogs.com/dajiangtai/p/10676773.html

3、Flink 的trigger 有几种

https://juejin.im/post/5c317c366fb9a049f3624086

4、Flink job 有多少种状态

https://ci.apache.org/projects/flink/flink-docs-stable/internals/job_scheduling.html#scheduling

发布了508 篇原创文章 · 获赞 613 · 访问量 201万+

猜你喜欢

转载自blog.csdn.net/high2011/article/details/98522791