1. 实验环境

Kubernetes集群：
3台4G的虚拟机，CentOS 7.7版本
kubernetes集群的版本：
Kubernetes v1.16.0

k8s 1.16 和 k8s 1.15 的区别：
k8s 1.16 版本以后 Deployment 的 api 改变了，所以再来一遍

2. 集群搭建

2.1 k8s1.16 版本的 Yaml 配置

k8s 1.16 版本以后，Deployment 的 apiVersion 变为了 apps/v1 ，并且需要在spec 中加入 selector.matchLabels.app

2.1.1 JobManager Yaml 配置

主要提供运行JobManager组件镜像的参数配置，包括JobManager自身的参数，例如RPC端口等配置信息：

apiVersion: apps/v1
kind: Deployment
metadata:
    name: flink-jobmanager
spec:
    selector:
        matchLabels:
            app: flink
    replicas: 1
    template:
        metadata:
            labels:
                app: flink
                component: jobmanager
        spec:
            containers:
            - name: jobmanager
              image: flink:1.9
              args:
              - jobmanager
              ports:
              - containerPort: 6123
                name: rpc
              - containerPort: 6124
                name: blob
              - containerPort: 6125
                name: query
              - containerPort: 8081
                name: ui
              env:
              - name: JOB_MANAGER_RPC_ADDRESS
                value: flink-jobmanager

2.1.2 TaskManager Yaml 配置

主要提供运行TaskManager组件的参数配置，以及TaskManager自身的参数，例如RPC端口等配置信息：

apiVersion: apps/v1
kind: Deployment
metadata:
    name: flink-taskmanager
spec:
    selector:
        matchLabels:
            app: flink
    replicas: 3
    template:
        metadata:
            labels:
                app: flink
                component: taskmanager
        spec:
            containers:
            - name: taskmanager
              image: flink:1.9
              args:
              - taskmanager
              ports:
              - containerPort: 6121
                name: data
              - containerPort: 6122
                name: rpc
              - containerPort: 6125
                name: query
              env:
              - name: JOB_MANAGER_RPC_ADDRESS
                value: flink-jobmanager

2.1.3 JobManagerServices 配置

主要为Flink Session 集群提供对外的RestApi和UI地址，使得用户可以通过Flink UI 的方式访问集群并获取任务和监控信息，配置文件如下:

apiVersion: v1
kind: Service
metadata:
    name: flink-jobmanager
spec:
    type: NodePort
    ports:
    - name: rpc
      port: 6123 
    - name: blob
      port: 6124
    - name: query
      port: 6125
    - name: ui
      port: 8081
      nodePort: 30001
    selector:
        app: flink
        component: jobmanager

2.2 启动Flink Session Cluster

当各个组件服务配置文件定义完毕后，就可以通过使用以下Kubectl命令，创建Flink Session Cluster，集群启动完成后就可以通过JobManagerServices中配置的WebUI端口访问 Flink Web 页面。


kubectl create -f jobmanager-service.yaml

kubectl create -f jobmanager-deployment.yaml

kubectl create -f taskmanager-deployment.yaml

使用如下命令，查看pod：

kubectl get pods -o wide

在这里插入图片描述
然后访问Flink 的 Web UI 界面：

2.3 停止Flink Session Cluster

kubectl delete-f jobmanager-service.yaml

kubectl delete -f jobmanager-deployment.yaml

kubectl delete -f taskmanager-deployment.yaml

基于k8s1.16搭建flink集群（二）

文章目录