Flink详细笔记(二) Flink环境搭建(standalone模式)

本节目录

1 架构说明(standalone模式)

2 机器分布

3 安装 Flink 集群前提

4 搭建步骤

5 启动Flink集群

1 架构说明(standalone模式)

 standalone 是 Flink 自带的一个分布式集群，它不依赖其他的资源调度框架、不依赖 yarn 等。Spark也有一个自带的分布式资源调度模型，也叫作 standalone。

standalone模式进程名介绍：

JobManager------->进程名字：StandaloneSessionClusterEntrypoint    我们又叫它：Master
TaskManager----->进程名字：TaskManagerRunner    我们又叫它：Worker
 

2 机器分布

机器名(域名)	IP	角色
lx01	192.168.133.3	JobManager
lx02	192.168.133.4	TaskManager
lx03	192.168.133.5	TaskManager

3 安装 Flink 集群前提

1. 已安装 JDK
2. 关闭防火墙 
3. 最好是有hadoop环境 
4. 最好kafka环境

4 搭建步骤

1 下载 Flink 安装包，请点击链接下载：我是下载地址（Flink版本选择：使用最新的 1.9.1 版本；与hadoop整合：选择 2.7.5版本整合包）

2 上传 Flink 安装包至 Linux 服务器 master 节点。使用 tar 命令解压安装包

tar -zxvf 

3 修改 conf 目录下的 flink-conf.yaml 配置文件

# 指定jobmanager的地址(此处可使用ip/别名)
jobmanager.rpc.address: master
# 指定 taskmanager 的可用槽位的数量(槽位越多，运行的subTask就越多)
taskmanager.numberOfTaskSlots: 2

4 修改 conf 目录下的 slaves 配置文件，指定 taskmanager 的所在节点

[root@lx01 conf]# cat slaves 
lx01
lx02
lx03

5 分发安装包 

将配置好的 Flink ，拷贝到其他节点(slave01，slave02 节点)
前提：已配置免密登录。免密登录，请参考：我是参考链接
命令：scp -r /usr/local/env/flink-1.9.1 root@slave01:/usr/local/env
           scp -r /usr/local/env/flink-1.9.1 root@slave02:/usr/local/env

5 启动Flink集群

[root@lx01 bin]# ./start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host lx01.
Starting taskexecutor daemon on host lx01.
Starting taskexecutor daemon on host lx02.
Starting taskexecutor daemon on host lx03.

[root@lx01 bin]# jps
2661 Jps
2569 TaskManagerRunner      TaskManager进程
2106 StandaloneSessionClusterEntrypoint   JobManager进程

6 访问web页面

访问URL  http://lx01:8081