flink 的一些概念二

flink standolone 模式配置 

在 conf/flink-conf.yaml 中  jobmanager.rpc.address: 10.0.0.1

slave中 添加 从节点的ip start-cluster.sh 

一些调优的参数

• the amount of available memory per JobManager (jobmanager.heap.mb),
• the amount of available memory per TaskManager (taskmanager.heap.mb),
• the number of available CPUs per machine (taskmanager.numberOfTaskSlots),
• the total number of CPUs in the cluster (parallelism.default) and
• the temporary directories (taskmanager.tmp.dirs)

recommend to set the number of slots to the number of processors per machine.

flink on yarn 有两种方式一种是 提前在yarn中申请一个固定资源的session 此session中包含了一个flink cluster 

另一种是提交flink job 的形式来实现flink on yarn ，大体流程 jobmanager将配置 jar包等提交到hdfs上，然后向 yarn resourcemanager请求资源，yarn resourcemanager返回其 appmaster

checkpoint用于恢复taskmanager失败的恢复，默认cancel job就会消失

savepoint用于集群的升级，暂停，恢复使用，主要由两部分组成一些二进制文件存储在hdfs上等，一些元数据