第 4 节 Flink standalone集群安装部署

上篇：第 3 节 Flink standalocal集群安装以及集群代码提交执行

---

1、Flink集群安装部署standalone+yarn

standalone模式
准备工作：
(1)集群节点划分：3台（一主两从）
flink105、 flink106、 flink107
(2) jdk：1.8以上
(3) ssh免密码登陆（至少要实现能够免密码登陆到从节点）
(4) 主机名hostname(文件配置与ip映射 )
(5) 关闭防火墙（systemctl stop firewalld.service ）

---

2、standalone模式

开始搭建
（1）上传发flink安装包到Linux环境中

（2）解压文件 flink-1.7.0-bin-hadoop27-scala_2.11.tgz

[root@flink105 hadoop]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz -C module/

（3）修改配置文件

[root@flink105 conf]# vim flink-conf.yaml 

jobmanager.rpc.address: flink105 

修改slaves

[root@flink105 conf]# vim slaves 

flink106
flink107

（4）分发给另外两台机器

[root@flink105 module]# scp -r flink-1.7.0/ flink106:/usr/hadoop/module/

[root@flink105 module]# scp -r flink-1.7.0/ flink107:/usr/local/hadoop/module/

（5）启动

//先启动集群
[root@flink105 bin]# ./start-cluster.sh 

//一个主节点，两个从节点
Starting cluster.  
Starting standalonesession daemon on host flink105 .
Starting taskexecutor daemon on host flink106 .
Starting taskexecutor daemon on host flink107 .

http://flink105:8081

Flink-Standalone集群重要参数详解

jobmanager.heap.mb：jobmanager节点可用的内存大小
taskmanager.heap.mb：taskmanager节点可用的内存大小
taskmanager.numberOfTaskSlots：每台机器可用的cpu数量
parallelism.default：默认情况下任务的并行度
taskmanager.tmp.dirs：taskmanager的临时数据存储目录

slot和parallelism总结
1.slot是静态的概念，是指taskmanager具有的并发执行能力
2.parallelism是动态的概念，是指程序运行时实际使用的并发能力
3.设置合适的parallelism能提高运算效率，太多了和太少了都不行

---

3、Flink standalone集群中job的容错

jobmanager挂掉

1. 正在执行的任务会失败
2. 存在单点故障，(Flink支持HA，后面会讲到)

taskmanager挂掉

1. 如果有多余的taskmanager节点，flink会自动把任务调度到其它节点执行