flink-10-安装standalone模式

对于集群上运行的大部分程序来说,最简单的是配置下面任意一个:
Total Flink memory (taskmanager.memory.flink.size)
Total process memory (taskmanager.memory.process.size)
其余的内存组件将根据默认值或额外配置的选项自动调整。
对于 standalone 部署模式来说,因为我们要声明分配给 flink 自身的内存大小,所以配置 Total Flink memory 更合适。

对于容器化部署模式来说,配置 Total Process Memory 更好。因为 Total Process Memory 实际上代表 Flink JVM 进程占用的总内存,也是容器允许 TM 占用内存的上线,超过这个值就会被容器杀掉。

在这里插入图片描述

#vi /etc/hosts

kf23	192.168.0.50	master
kf2	    192.168.0.51	slave1
kf3	    192.168.0.52	slave2

(1)安装FLink
#tar -xzvf flink-1.7.2-bin-hadoop28-scala_2.12.tgz -C /usr/local
#cd /usr/local
#mv flink-1.7.2/ flink
#vi /root/.bashrc

export FLINK_HOME=/usr/local/flink
export PATH=$PATH:$FLINK_HOME/bin

#source /root/.bashrc
(2)修改配置文件
#cd /usr/local/flink/conf/
#vi flink-conf.yaml
注意中间有一个空格

jobmanager.rpc.address: kf23

还可以配置以下参数。
jobmanager.rpc.address : master 节点
jobmanager.heap.mb : JobManager可用的内存数量
taskmanager.heap.mb : 每个TaskManager可以用内存数量
taskmanager.numberOfTaskSlots : 每个机器可用的CPU数量
parallelism.default : 集群中总的CPU数量
taskmanager.tmp.dirs : 临时目录

#vi slaves

kf2
kf3

(3)在kf23节点启动
[root@kf23 ~]# start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host kf23.
Starting taskexecutor daemon on host kf2.
Starting taskexecutor daemon on host kf3.
查看kf23上的进程 查看kf2和kf3上的进程
2737 SecondaryNameNode
2553 NameNode
6287 StandaloneSessionClusterEntrypoint 1921 DataNode
4302 TaskManagerRunner

例如:
taskmanager.memory.process.size: 20g
taskmanager.numberOfTaskSlots: 20
jobmanager.web.port: 8090(需要防止端口冲突)

(4)查看webUI
http://IP:8081
(5)增减节点到集群中
增加/减少jobmanager节点:

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

增加/减少taskmanager节点(需要到当前节点去启动):

bin/taskmanager.sh start|start-foreground|stop|stop-all

猜你喜欢

转载自blog.csdn.net/qq_20466211/article/details/112847915