Standalone集群模式

安装Flink

1、创建集群
在这里插入图片描述

2、以root用户登录，进行三台机器的认证
命令：sudo /bin/bash、./initHosts.sh
在这里插入图片描述

3、以hadoop用户登录
命令：su – hadoop
在这里插入图片描述

4、启动集群
命令：cd /hadoop、./startAll.sh
在这里插入图片描述

5、创建安装Flink的目录
命令：mkdir /hadoop/Flink
在这里插入图片描述

6、进入该目录下
命令：cd /hadoop/Flink/
在这里插入图片描述

7、下载Flink安装包
命令：wget https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.12.tgz
在这里插入图片描述

8、解压安装包
命令：tar -xf flink-1.10.1-bin-scala_2.12.tgz
在这里插入图片描述

修改配置文件

9、进入配置文件
命令：cd flink-1.10.1/conf/
在这里插入图片描述

10、打开文件
命令：vi flink-conf.yaml
在这里插入图片描述

11、修改JobManager的主机名为app-11
在这里插入图片描述

去掉注释，添加页面管理，修改端口号为9081，避免冲突
在这里插入图片描述

12、修改masters文件
命令：vi masters
防止web端口冲突
在这里插入图片描述
修改后：

13、修改slaves文件
命令：vi slaves
在这里插入图片描述

14、修改环境变量
命令：vi ~/.bashrc
export FLINK_HOME=/hadoop/Flink/flink-1.10.1
export PATH=${FLINK_HOME}/bin:$PATH
在这里插入图片描述

15、使环境变量生效
命令：source ~/.bashrc
在这里插入图片描述

16、创建安装Flink的安装目录
命令：ssh hadoop@app-12 "mkdir /hadoop/Flink"、
ssh hadoop@app-13 "mkdir /hadoop/Flink"
在这里插入图片描述

17、返回Flink的安装目录下
命令：cd /hadoop/Flink/
在这里插入图片描述

18、拷贝Flink
命令：scp -r -q flink-1.10.1 hadoop@app-12:/hadoop/Flink/、
scp -r -q flink-1.10.1 hadoop@app-13:/hadoop/Flink/
在这里插入图片描述

19、拷贝环境变量
命令：scp ~/.bashrc hadoop@app-12:~/、scp ~/.bashrc hadoop@app-13:~/

在这里插入图片描述

20、启动Flink
命令：cd flink-1.10.1、bin/start-cluster.sh
启动了两个进程，一个是standalonesession daemon，另一个是taskexecutor daemon
在这里插入图片描述

21、打开web控制页面，可以直接看到当前集群的状态
在这里插入图片描述

网址：app-11:9081
在这里插入图片描述

22、新建new terminal，以root用户登录，安装nc命令
命令：sudo /bin/bash、yum install nmap-ncat.x86_64
在这里插入图片描述
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰