SeaTunnel k8s を使用して Zeta エンジンのローカルモードを実行する方法を段階的に説明します。

ファイル

Xiao Xiami 0.0 より転載

はじめに: Kubernetes の人気と発展に伴い、アプリケーションの管理と展開に Kubernetes を使用する企業やチームがますます増えています。ただし、Kubernetes のデフォルトの動作方法は、特により効率的で信頼性の高いアプリケーションのデプロイメントおよび管理機能が必要な場合には、最良の選択ではない可能性があります。したがって、SeaTunnel は Zeta エンジンを実行する方法 (ローカルモードモード) を提供します。これにより、Kubernetes は Zeta エンジンをローカルで実行して、より効率的なアプリケーションのデプロイと管理を実現できます。この記事では、Zeta エンジン (ローカルモードモード) を実行する SeaTunnel k8s について詳しく調査し、Zeta エンジンをより効果的に活用する方法を学びます。

走る

SeaTunnel をサーバーにアップロードします。以前、便宜上、install-plugin.sh スクリプトを実行した後、seatunnel を直接使用してデモンストレーションを行いました。

install-plugin を実行した後の lib ディレクトリには次のものが含まれます。

ファイル

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3

SeaTunnel イメージを構築します。 Seatunnel がインストールされているのと同じフォルダーに Dockerfile を作成します。構成は次のとおりです。バージョンは自分で選択できます

FROM openjdk:8

ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

注文の実行

docker build -t seatunnel:2.3.3 -f Dockerfile.

画像を見る

docker images

以下に示すようにミラーリングされます

ファイル

ここではデモのために Minikube を使用してイメージを k8s にロードします。

minikube image load seatunnel:2.3.3

minikube image ls

画像を見る

ファイル

以下に示すように、seatunnel.streaming.conf を作成します。

env {
  execution.parallelism = 1
  job.mode = "STREAMING"
  checkpoint.interval = 2000
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 160000
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

構成マップの作成

kubectl create cm seatunnel-config \
--from-file=seatunnel.streaming.conf=seatunnel.streaming.conf

次の例のように Seatunnel.yaml を作成します

apiVersion: v1
kind: Pod
metadata:
  name: seatunneltest
spec:
  containers:
  - name: seatunnel
    image: seatunnel:2.3.3
    command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel.sh --config /data/seatunnel.streaming.conf -e local"]
    volumeMounts:
      - name: seatunnel-config
        mountPath: /data/seatunnel.streaming.conf
        subPath: seatunnel.streaming.conf
  volumes:
        - name: seatunnel-config
          configMap:
            name: seatunnel-config
            items:
            - key: seatunnel.streaming.conf
              path: seatunnel.streaming.conf
~

埋め込む

kubectl apply -f seatunnel.yaml

次のようにポッドの結果を表示しますファイル

著作権に関する声明: この記事はブロガーによるオリジナルの記事であり、CC 4.0 BY-SA 著作権規約に従っています。転載する場合は、元のソースリンクとこの声明を添付してください。

元のリンク: https://blog.csdn.net/weixin_41854429/article/details/132619265

この記事はBeluga Open Source Technologyによって公開されています。

SeaTunnel k8s を使用して Zeta エンジンのローカル モードを実行する方法を段階的に説明します。

走る

おすすめ

SeaTunnel k8s を使用して Zeta エンジンのローカルモードを実行する方法を段階的に説明します。