Flink on yarn

一: 配置:

1.配置yarn-site.xml

<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
</property>

2.配置flink的flink-conf.yaml

high-availability: zookeeper

high-availability.storageDir: hdfs:///flink/ha/

high-availability.zookeeper.quorum: localhost:2181,diagbot02:2181

yarn.application-attempts:4

二:启动

启动yarn-session命令:  ./yarn-session.sh -n 2 -s 1 -jm 3072 -tm 6144 -nm test -d

启动yarn-session的参数解释如下

-n(--container) | taskmanager的数量 |
-s(--slots)| 用启动应用所需的slot数量/ -s 的值向上取整,有时可以多一些taskmanager,做冗余 每个taskmanager的slot数量,默认一个slot一个core,默认每个taskmanager的slot的个数为1 | 6~10
-jm | jobmanager的内存(单位MB)| 3072
-tm | 每个taskmanager的内存(单位MB)| 根据core 与内存的比例来设置,-s的值* (core与内存的比)来算
-nm | yarn 的appName(现在yarn的ui上的名字)|
-d |后台执行|

启动flink命令:   ./flink -run file:///home/yarn/test.jar -a 1 -p 12 -yid appId -nm flink-test -d

启动应用参数解释如下

-j | 运行flink 应用的jar所在的目录
-a | 运行flink 应用的主方法的参数
-p | 运行flink应用的并行度
-c | 运行flink应用的主类, 可以通过在打包设置主类
-nm | flink 应用名字,在flink-ui 上面展示
-d | 后台执行
--fromsavepoint| flink 应用启动的状态恢复点

猜你喜欢

转载自www.cnblogs.com/kwzblog/p/10253938.html