Flink笔记(二):Flink环境搭建(standalone模式)

1.Flink环境搭建

 1.1 架构说明(standalone模式)

       standalone 是 Flink 自带的一个分布式集群,它不依赖其他的资源调度框架、不依赖 yarn 等。Spark也有一个自带的分布式资源调度模型,也叫作 standalone。
在这里插入图片描述
standalone模式进程名介绍:

  1. JobManager------->进程名字:StandaloneSessionClusterEntrypoint    我们又叫它:Master
  2. TaskManager----->进程名字:TaskManagerRunner    我们又叫它:Worker

 1.2 机器分布

机器名(hosts) IP 角色
master 192.168.204.210 JobManager
slave01 192.168.204.211 TaskManager
slave02 192.168.204.212 TaskManager

 1.3 安装 Flink 集群前提

  1. 已安装 JDK。如需了解安装教程,请点击链接: CentOS 7 安装 JDK8
  2. 关闭防火墙【或者开放指定端口号(点击链接: Linux 开放制定端口)---- 线上环境不建议关闭防火墙

 1.4 搭建步骤

     安装路径:/usr/local/env 下

  1. 下载 Flink 安装包,请点击链接下载:我是下载地址Flink版本选择:使用最新的 1.9.1 版本;与hadoop整合:选择 2.7.5版本整合包)
    在这里插入图片描述
  2. 上传 Flink 安装包至 Linux 服务器 master 节点。使用 tar 命令解压安装包
    在这里插入图片描述
  3. 修改 conf 目录下的 flink-conf.yaml 配置文件
    在这里插入图片描述
    在这里插入图片描述
# 指定jobmanager的地址(此处可使用ip/别名)
jobmanager.rpc.address: master
# 指定 taskmanager 的可用槽位的数量(槽位越多,运行的subTask就越多)
taskmanager.numberOfTaskSlots: 2
  1. 修改 conf 目录下的 slaves 配置文件,指定 taskmanager 的所在节点
    在这里插入图片描述
  2. 将配置好的 Flink ,拷贝到其他节点(slave01,slave02 节点)
    前提:已配置免密登录。免密登录,请参考:我是参考链接
    命令:scp -r /usr/local/env/flink-1.9.1 root@slave01:/usr/local/env
               scp -r /usr/local/env/flink-1.9.1 root@slave02:/usr/local/env
  3. 配置完成,目前环境配置为:1个JobManager,2个 TaskManager

 1.5 启动Flink集群

我们通过:flink-1.9.1/bin目录下 的 start-cluster.sh 命令启动。启动成功后,我们可以通过 jps 命令,分别在 masterslave01slave02 节点来查看启动进程,查看是否全部启动成功。
在这里插入图片描述
在这里插入图片描述

 1.6 访问JobManager 的 Web 管理界面

  端口号:8081 访问链接http://master节点IP:8081
在这里插入图片描述


Flink环境搭建(standalone模式),介绍到此为止

如果本文对你有所帮助,那就给我点个赞呗 O(∩_∩)O

End

发布了247 篇原创文章 · 获赞 44 · 访问量 5万+

猜你喜欢

转载自blog.csdn.net/lzb348110175/article/details/104060896