Flink的运行时架构

Flink的运行时架构

• Dispatcher （分发器，提供UI界面，将作业分发给JobManager）

• JobManager（作业管理器）

• TaskManager（任务管理器）

JonManager

每一个Flink应用程序都对应一个JobManager，JobManager是一个控制程序执行的主进程，我们提交的Job就是提交给Jobmanager；

JobManager的主要作用

1.接受需要执行的Flink应用程序，这个程序包括作业图(JobManager)、逻辑数据流图(logic data-flow)、和打包的类、库以及其他依赖资源的jar包；

2.JobManager会将Jobgraph转化成一个物理的可执行的数据流图(ExecutionGraph),这里面就包含了可以执行的任务；

3.JobManager在生成物理执行图之后会向Resourcemanager申请对应的资源（Slot），一旦获取到资源，就会将执行图中的任务派发到不同的TaskManager上去执行，Flink会通过心跳获取任务执行信息，同时负责集群之间的协调通信，比如说checkpoint协调。

TaskManager

Task也是一个单独的JVM进程，Slot的数量决定了taskmanager同时能执行的task的数量

TaskManager的主要作用

1.首先taskmanager会向资源管理器注册自己的Slot；收到资源管理器的指令后，就会提供1个或者多个插槽供job使用；

2.Taskmanager还要向Jobmanager通过心跳传输任务信息，同时还会与其他的taskmanager之间互相交互数据。

资源管理器

Yarn\K8s\Standalone等

Dispatcher

任务分发器，将应用程序APP提交给JoBManager并提供WebUI界面

基于yarn的Job提交流程

1 提交流程图

2 流程解析

1.客户端上传jar包和配置

2.客户端向ResourceManager提交Job

3.Yarn-ResourceManger会在NodeManager上启动ApplicationMaster(整个程序的驱动进程)，此时JobManager就已经启动

4.ApplicationMaster根据提交的配置申请相应的资源(Container)

5.资源申请之后，会在不同的NodeManager上分配Container并启动TaskManager，分配Slot与内存

6.TaskManager启动并向JobManager注册并通过心跳报告信息

7.此时job提交完成.

3 任务调度原理

Flink中是允许子任务共享Slot的，在Slot中其实只是内存的隔离，Cpu是不进行隔离的；

具体调度可以看FlinkJob的执行图

FlinkJob的执行图

StreamGraph -[通过chain将任务进行合并，在Client就生成了]>- JobGraph -[根据并行度划分子任务形成]-> ExecutionGraph ->物理执行图

算子有以下类型

One-to-one(map、filter、flatmap)

redistributing（keyby、groupby、rebalance、broadcast）类似于shuffle

形成jobGraph时的优化技术,将不同的算子任务连接成一个OperatorChain，这个优化有个前提条件：

只有并行度相同、one-to-one操作的算子才能合并成一个chain，关于chain的算子也有相关的操作

disableChaining():禁止当前算子与前后算子形成chain

startNewChain()：这个算子与后续算子形成chain，与前面的算子进行隔离划分