集群部署方式
Flink有两种部署方式，Standalone和Flink on Yarn集群部署方式。
Flink集群架构
Flink分布式架构是常见的主从结构，由JobManager和TaskManager组成。JobManager是大脑，负责接收、协调、分发Task到各个TaskManager，也负责触发Checkpoint（容错机制）以及失败恢复。TaskManager负责执行Task，TaskManager中有若干的Task Slot，Task跑在Task Slot中，Task Slot的数量也表示了程序的并行度。
集群运行模式
1.session mode
session运行模式下，client会向一个已预先建立好的session集群提交一个个job，所有job共享集群资源，包括JobManager和TaskManager的资源。
该模式的优点：
不需要每次提交job都花费开销去建立资源，JobManager和TaskManager是长期运行的
多个job跑在相同的JobManager和TaskManager，因此资源利用率高
该模式的缺点：
资源隔离性差，如果其中一个job把某个TaskManager搞挂了，那么该TaskManager下的所有job都会受影响
资源都是预分配的，所以资源扩展性差
client负责生成JobGraph以及上传依赖包到集群，当job很多时client的负载和带宽消耗都比较大
session运行模式的缺点比较致命，因此只适用于测试环境，不适用生产环境。
2.per-job mode
per-job运行模式下，client向集群提交job后，集群资源管理器（如Yarn、K8s）会为每个job单独建立JobManager和TaskManager。
该模式的优点：
job之间的资源是隔离的，互不影响
资源伸缩性好，根据每个job不同的需求申请合适的资源
该模式的缺点：
每个job都会建立JobManager，资源利用率相对低些
client负责生成JobGraph以及上传依赖包到集群，当job很多时client的负载和带宽消耗都比较大
per-job运行模式在生产环境上用的比较多也比较成熟稳定。
3.application mode
application运行模式下，client向集群提交job时，不会执行Flink应用程序的main方法，而是直接提交给集群。每个应用程序对应一个JobManager，且同一个JobManager下可以运行多个job。
该模式的优点：
由于client不执行程序以及上传依赖包（通过HDFS统一管理依赖包），因此负载和带宽消耗都很低，解放了client
资源伸缩性好，根据每个job不同的需求申请合适的资源
TaskManager资源隔离，JobManager应用间也是隔离的
该模式没有明显的缺点，也是目前社区主推的运行模式，适用于生产环境。
Standalone集群部署
集群规划
192.168.10.153 master
192.168.10.159 node02
Standalone集群不需要使用外部的资源管理器（ResourceManager），部署简单，但仅支持session运行模式。
下载Flink二进制包
官网下载Flink二进制包：https://dlcdn.apache.org/flink/
这里我选择的是Flink 1.14.5版本：https://dlcdn.apache.org/flink/flink-1.14.5/flink-1.14.5-bin-scala_2.11.tgz
国内下载：
wget https://archive.apache.org/dist/flink/flink-1.14.5/flink-1.14.5-bin-scala_2.11.tgz
解压
tar -zxvf flink-1.14.5-bin-scala_2.11.tgz
cd flink-1.15.4
修改conf/masters
添加主节点hostname：
master:8081
修改conf/workers
添加从节点hostname：
node02
修改conf/flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
rest.bind-address: 0.0.0.0同步配置
scp -r flink-1.15.4 root@node02:/root/flink-1.15.4
启动standalone集群
./bin/start-cluster.sh
查看集群状态
jps查看每个节点的服务是否正常启动：
主节点：
从节点：
还可以访问master:8081查看集群的状态
从节点修改配置
查看从接到状况：
注意：看图可以指定从接到默认配置都是localhost，无法做区分，因此需要在从节点的
flink-conf.yaml中添加配置：
所有从节点此处位置应该是自己hostname。
taskmanager.host: node02从节点中，单独重启从节点
./taskmanager.sh stop
./taskmanager.sh start再次刷新监控页面
来源：