flink集群(docker版)配置及使用

编程语言 2023-05-17 03:17:06 阅读次数: 0

1 环境说明

注意：以下所有操作都在root用户下完成 sudo su - root

ip

操作系统版本

用途

192.168.30.18

Ubuntu 18.04.4 LTS

jobmanager容器、nfs服务(存储flink的checkpoint、savepoint)

192.168.30.17

Ubuntu 18.04.4 LTS

taskmanager02容器

192.168.30.16

Ubuntu 18.04.4 LTS

taskmanager01容器

2 部署nfs

在192.168.30.18节点上操作

2.1安装nfs软件包

# apt-get install rpcbind -y
# apt-get install nfs-kernel-server -y

2.2 配置参数，映射checkpoints存储目录

# vim /etc/exports
/home/liuchan/config/flink/ 192.168.30.0/24(rw,sync,no_root_squash,no_all_squash)

2.3 重启nfs服务并加入开机自启动

# systemctl restart rpcbind
# systemctl enable rpcbind

# systemctl restart nfs-kernel-server
# systemctl enable nfs-kernel-server

2.4 查看nfs状态

# rpcinfo -p localhost
   program vers proto   port  service
   100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100005    1   udp  34715  mountd
    100005    1   tcp  46897  mountd
    100005    2   udp  48806  mountd
    100005    2   tcp  39469  mountd
    100005    3   udp  41227  mountd
    100005    3   tcp  34733  mountd
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    3   tcp   2049
    100003    3   udp   2049  nfs
    100227    3   udp   2049
    100021    1   udp  35642  nlockmgr
    100021    3   udp  35642  nlockmgr
    100021    4   udp  35642  nlockmgr
    100021    1   tcp  42347  nlockmgr
    100021    3   tcp  42347  nlockmgr
    100021    4   tcp  42347  nlockmgr

2.5 查看nfs映射信息

# exportfs -v
/home/liuchan/config/flink
192.168.30.0/24(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,secure,no_root_squash,no_all_squash)

3 客户端挂载nfs

在192.168.30.16、17节点上操作

3.1 安装nfs挂载工具

# apt install nfs-common

# showmount -e 192.168.30.18
Export list for 192.168.30.18:
/home/liuchan/config/flink 192.168.30.0/24

3.2 创建挂载目录

# mkdir -p /home/liuchan/config/flink

3.3 挂载nfs并写入到/etc/fstab

# echo '192.168.30.18:/home/liuchan/config/flink /home/liuchan/config/flink nfs defaults 0 0' >> /etc/fstab
# mount -a

4 集群通用配置说明

4.1 docker-compose说明

1 compose目录结构

# tree -LFa 1 flink/
flink
├── conf/                 # flink容器配置文件目录
├── docker-compose.yml    # docker-compose配置文件
├── Dockerfile            # 构建flink镜像用到的Dockerfile文件
├── .env                  # docker-compose环境变量文件
├── flink-1.10.0.tar.gz   # 构建flink镜像用到的flink-1.10.0压缩包
├── jdk1.8.0_251.tar.gz   # 构建flink镜像用到的jdk1.8.0_251压缩包
├── log/                  # flink容器日志目录
├── run.sh                # 构建flink镜像用到的flink容器启动脚本
└── tmp/                  # flink容器临时文件目录

3 directories, 6 files

 

2 .env文件

# cat flink/.env
IMAGE=flink:1.10.0-v01
FLINK_HOME=/usr/local/flink-1.10.0

 

3 Dockerfile文件

# cat flink/Dockerfile
FROM centos:7
LABEL maintainer lc

ARG FLINK_VERSION=flink-1.10.0
ARG JDK_VERSION=jdk1.8.0_251

RUN yum install wget curl unzip iproute net-tools -y && \
    yum clean all && \
    rm -rf /var/cache/yum/* && \
    ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ADD ${FLINK_VERSION}.tar.gz /usr/local
ADD ${JDK_VERSION}.tar.gz   /usr/local

ENV JAVA_HOME /usr/local/${JDK_VERSION}
ENV CLASSPATH $JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
ENV PATH $JAVA_HOME/bin:$PATH
ENV FLINK_HOME=/usr/local/${FLINK_VERSION}

COPY run.sh /root

WORKDIR ${FLINK_HOME}
EXPOSE 8081 6123
ENTRYPOINT ["/root/run.sh"]

 

4 run.sh文件

#!/bin/bash

FLINK_JOB_MANAGER_SH=$FLINK_HOME/bin/jobmanager.sh
FLINK_TASK_MANAGER_SH=$FLINK_HOME/bin/taskmanager.sh

case "$1" in
"jobmanager")
$FLINK_JOB_MANAGER_SH start-foreground
;;

"taskmanager")
$FLINK_TASK_MANAGER_SH start-foreground
;;

*)
echo "COMMAND ERROR"
;;
esac

4.2 flink集群配置文件

1 修改flink-conf.yaml

# vim flink/conf/flink-conf.yaml
# jobmanager节点地址
jobmanager.rpc.address: 192.168.30.18
# checkpoints保留的个数，全局配置
state.checkpoints.num-retained: 16
# Blog Server
taskmanager.rpc.port: 40010-40020
# Task Manager
metrics.internal.query-service.port: 40030-40040
# Metrics
blob.server.port: 40050-40060

 

2 修改masters

# vim flink/conf/masters
192.168.30.18:8081

 

3 修改slaves

# cat flink/conf/slaves 
192.168.30.16
192.168.30.17

5 启动容器

5.1 jobmanager

192.168.30.18节点

1 docker-compose.yml配置文件

# cat flink/docker-compose.yml
version: '3'
networks:
  rulr-network:
    external: true
services:

  flink-1.10.0-v01:
    image: flink:1.10.0-v01
    build:
      context: ./
      dockerfile: Dockerfile

  jobmanager:
    container_name: jobmanager
    hostname: jobmanager
    image: ${IMAGE}
    volumes:
      - ./conf:${FLINK_HOME}/conf
      - ./tmp/jobmanager-tmp:/tmp
      - ./log/jobmanager-log:${FLINK_HOME}/log
      - /home/liuchan/config/flink:/home/liuchan/config/flink
      - /home/liuchan/servers/compute-streaming:/home/liuchan/servers/compute-streaming
      - /home/liuchan/config/servers:/home/liuchan/config/servers
    ports:
      - "8081:8081"
      - "6123:6123"
      - "40010-40020:40010-40020"
      - "40030-40040:40030-40040"
      - "40050-40060:40050-40060"
    command: jobmanager
    restart: always
    networks:
      - rulr-network
    deploy:
      resources:
        limits:
          cpus: '2'
          memory: 2G

 

2 构建容器

# cd flink-jobmanager/
# docker-compose build
# docker-compose up -d

5.2 taskmanager02

192.168.30.17节点

1 docker-compose.yml配置文件

# cat flink/docker-compose.yml
version: '3'
networks:
  rulr-network:
    external: true
services:

  flink-1.10.0-v01:
    image: flink:1.10.0-v01
    build:
      context: ./
      dockerfile: Dockerfile

  taskmanager02:
    container_name: taskmanager02
    hostname: taskmanager02
    image: ${IMAGE}
    ports:
      - "40010-40020:40010-40020"
      - "40030-40040:40030-40040"
      - "40050-40060:40050-40060"
    volumes:
      - ./conf:${FLINK_HOME}/conf
      - ./tmp/taskmanager02-tmp:/tmp
      - ./log/taskmanager02-log:${FLINK_HOME}/log
      - /home/liuchan/config/flink:/home/liuchan/config/flink
    command: taskmanager
    restart: always
    networks:
      - rulr-network
    deploy:
      resources:
        limits:
          cpus: '2'
          memory: 2G

 

2 构建容器

# cd flink-taskmanager02/
# docker-compose build
# docker-compose up -d

5.3 taskmanager01

192.168.30.16节点

1 docker-compose.yml配置文件

# cat flink/docker-compose.yml
version: '3'
networks:
  rulr-network:
    external: true
services:

  flink-1.10.0-v01:
    image: flink:1.10.0-v01
    build:
      context: ./
      dockerfile: Dockerfile

  taskmanager01:
    container_name: taskmanager01
    hostname: taskmanager01
    image: ${IMAGE}
    ports:
      - "40010-40020:40010-40020"
      - "40030-40040:40030-40040"
      - "40050-40060:40050-40060"
    volumes:
      - ./conf:${FLINK_HOME}/conf
      - ./tmp/taskmanager01-tmp:/tmp
      - ./log/taskmanager01-log:${FLINK_HOME}/log
      - /home/liuchan/config/flink:/home/liuchan/config/flink
    command: taskmanager
    restart: always
    networks:
      - rulr-network
    deploy:
      resources:
        limits:
          cpus: '2'
          memory: 2G

 

2 构建容器

# cd flink-taskmanager01/
# docker-compose build
# docker-compose up -d

6 运行flink任务

6.1 运行jar包

# docker exec -it flink-jobmanager bash
[root@jobmanager flink-1.10.0]# bin/flink run -d /home/liuchan/servers/compute-streaming/compute-streaming.jar --appMode=2

6.2 在flink的UI页面查看

URL: http://192.168.30.18:8081/

# 总体概览


# Task Managers信息


# 查看JOB详细信息

6.3 测试

1 停掉正在运行job的TaskManager容器

从上面的截图可以判断出ip为172.18.0.10容器正在运行job，该容器在192.168.30.17服务器上。停掉taskmanager02容器。

# cd flink-taskmanager02/
# docker-compose down

 

2 在flink的UI中查看

从下图可以看到，job经历超时报错后，运行的TaskManager节点由taskmanager02容器转移到了taskmanager01容器

 

 

 

 

 

3 恢复taskmanager02容器

# cd flink-taskmanager02/
# docker-compose up -d
# 在flink的UI可以看到taskmanager02容器又上线了

7 Checkpoint、Savepoint

7.1 Checkpoint、Savepoint说明

1 Checkpoint

(1) Flink Checkpoint是一种容错恢复机制。这种机制保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复，不需要用户指定。Checkpoint是增量做的，每次的时间较短，数据量较小。

(2) Checkpoint对于用户层面，是透明的，用户会感觉程序一直在运行。

(3) Flink Checkpoint是Flink自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序Checkpoint相关参数，当程序启动之后，剩下的就全交给Flink自行管理。

(4) Checkpoint默认关闭，Checkpoint的启用、存储方式、存储位置，在应用代码中配置，其中存储方式、存储位置，也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数，但应用代码中配置优先级更高。

(5) Checkpoint 默认保留数为1，通过修改flink-conf.yaml文件中state.checkpoints.num-retained参数设置Checkpoint保留数量。

(6) Checkpoint默认job程序取消后删除，在应用代码中通过设置以下代码实现保留：
"getCheckpointConfig().enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);"
(5) Checkpoint的组成：Checkpoint根目录/CheckpointID

 

2 Savepoint

(1) Flink Savepoint你可以把它当做在某个时间点程序状态全局镜像，以后程序在进行升级，或者修改bug、并行度等情况，还能从保存的状态位继续启动恢复，需要用户指定。是全量做的，每次的时间较长，数据量较大。

(2) Flink Savepoint一般存储在文件系统上面，它需要用户主动进行触发。

(3) Savepoint会一直保存，除非用户删除。

(4) flink-conf.yaml文件state.savepoints.dir参数用以配置savepoints的存储目录，默认none。

(5) Savepoint的组成：Savepoint根目录/savepoint-jobid前六位-12随机数字及字母组合

7.2 flink常用命令

1 通用命令

(1) 命令执行
bin/flink run [OPTIONS] <jar-file> <arguments>
options:
-d: 任务提交后，断开session，会话继续保持，即表示将job放到后台运行。

示例：后台运行job
# bin/flink run -d /home/liuchan/servers/compute-streaming/compute-streaming.jar --appMode=2

(2) 查看任务列表
bin/flink list [OPTIONS]
options:
-a: 全部显示所有程序及其作业ID
-r: 仅显示正在运行的程序及其作业ID
-s: 仅显示计划的程序及其作业ID

示例：查看正在运行的job
# bin/flink list -r

 

2 操作Savepoint

(1) 在取消任务时保存Savepoint
bin/flink cancel [OPTIONS] <Job ID>
options: 
-s: 触发保存点并取消作业。目标目录是可选的。如果未指定目录，则
配置的默认目录使用(state.savepoints.dir)。
官方文档已经不推荐使用，建议使用stop。

示例：
# bin/flink cancel -s /home/liuchan/config/flink/savepoints 1af3e95778850085614d175657948369

(2) 在停止任务时保存Savepoint
bin/flink stop [OPTIONS] <Job ID>
options:
-p: <savepointPath>保存点的路径，如果没有指定目录时，将使
用默认值配置(state.savepoints.dir)。

示例：
# bin/flink stop -p /home/liuchan/config/flink/savepoints 1504a27aaecba591877a68a233ee9240


(3) 触发Savepoint
bin/flink savepoint [OPTIONS] <Job ID> [<target directory>]
options:

示例：
# bin/flink savepoint 3b74f51cc4186aa4bf5bf84e7e716d0f /home/liuchan/config/flink/savepoints


(4) 从指定的savepoint运行job
bin/flink run [OPTIONS] <jar-file> <arguments>
options:
-s: 从savepoint<savepointPath>路径到用于还原作业的保存点

示例：
# bin/flink run -d -s /home/liuchan/config/flink/savepoints/savepoint-1af3e9-7a3891c86538 /home/liuchan/servers/compute-streaming/compute-streaming.jar --appMode=2

 

3 取消和停止job的区别如下

(1) cancel()调用，立即调用作业算子的cancel()方法，以尽快取消他们。如果算子在接
到cancel()调用后没有停止，flink将开始定期中断算子线程的执行，直到所有算子停止
为止。

(2) stop()是更加优雅的方式，仅适用于source实现了stoppableFunction接口的作业。
当用户请求停止作业时，作业的所有source都将被stop()方法调用，指导所有source
正常关闭时，作业才会正常结束，这种方式，使作业正常处理完所有作业。

猜你喜欢

转载自blog.csdn.net/zxj19880502/article/details/129578158
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022