95-230-022-源码-WordCount走读-获取JobGraph

1.视界

在这里插入图片描述

2. JobGraph概述

2.1 JobGraph是什么?

​ JobGraph:StreamGraph经过优化后生成了 JobGraph,提交给 JobManager 的数据结构。主要的优化为,将多个符合条件的节点 chain 在一起作为一个节点,这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
​ 作业图(JobGraph)是唯一被Flink的数据流引擎所识别的表述作业的数据结构,也正是这一共同的抽象体现了流处理和批处理在运行时的统一。

​ 相比流图(StreamGraph)以及批处理优化计划(OptimizedPlan),JobGraph发生了一些变化,已经不完全是“静态”的数据结构了,因为它加入了中间结果集(IntermediateDataSet)这一“动态”概念。

​ 作业顶点(JobVertex)、中间数据集(IntermediateDataSet)、作业边(JobEdge)是组成JobGraph的基本元素。这三个对象彼此之间互为依赖:

一个JobVertex关联着若干个JobEdge作为输入端以及若干个IntermediateDataSet作为其生产的结果集;
一个IntermediateDataSet关联着一个JobVertex作为生产者以及若干个JobEdge作为消费者;
一个JobEdge关联着一个IntermediateDat

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/105748377
022
今日推荐