Apache Flink - 补充

  •  
    1. flink cli 解析本地环境配置,启动 ApplicationMaster
    2. 在 ApplicationMaster 中启动 JobManager
    3. 在 ApplicationMaster 中启动YarnFlinkResourceManager
    4. YarnFlinkResourceManagerJobManager发送注册信息
    5. YarnFlinkResourceManager注册成功后,JobManagerYarnFlinkResourceManager发送注册成功信息
    6. YarnFlinkResourceManage知道自己注册成功后像ResourceManager申请和TaskManager数量对等的 container
    7. 在container中启动TaskManager
    8. TaskManager将自己注册到JobManager

    接下来便是程序的提交和运行。

  • JobManager负责接收 flink 的作业,调度 task,收集 job 的状态、jar 包管理,checkpoint 的协调和发起,管理 TaskManagers。
  • 算子:flink 的一个 operator 代表一个最顶级的 API接口。对于streaming,在 DataStream 上做诸如 map/reduce/keyBy 等操作均会生成一个算子。

猜你喜欢

转载自www.cnblogs.com/ooffff/p/9476032.html