[从0到1学习Flink]---- 2.3 部署方式

版权声明:尊重原创,转载请标明,本文转自 https://blog.csdn.net/high2011/article/details/85056316

一、支持的部署方式

Local
Standalone
Yarn
Mesos
Docker
Kubernetes
AWS
……
 

二、几个角色

ResourceManager

NodeManager

AppMaster

Container

YarnSession

注:选择On Yarn 的理由

  • 提高机器的利用率
  • Hadoop 开源活跃,且成熟

三、Flink on yarn 架构

四、Flink HA配置

选举leader

持久化checkpoint 元数据

持久化最近成功的checkpoint

持久化提交的JobGraph(SubmittedJobGraph)

持久化BlobStore(用于保存应用的Jar)

五、Flink configuration

Akka 方面配置

Checkpoint 方面配置

HA配置

内存配置

MetricReporter

Yarn方面的配置

六、Experience of Deployment On Yarn

•一个YarnSession一个应用,方便管理, 减少没必要应用之间的干扰

•Flink 最好提交平台化,支持HDFS 的Jar包提交(源生不支持)

•Flink On Yarn 的日志滚动, 以及改善Flink UI查看日志(Flink Ui日子不方便查看,会把 Jobmanager 的日志 flush 了)

区别如下:

说明

第一种

         在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。

第二种

        每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。

猜你喜欢

转载自blog.csdn.net/high2011/article/details/85056316
2.3