Bringen Sie Ihnen Schritt für Schritt bei, wie Sie SeaTunnel k8s verwenden, um den lokalen Modus der Zeta-Engine auszuführen

[Live-Übertragungsvorschau] Werden große Models Programmierer ersetzen? "

Nachdruck von Xiao Xiami 0.0

Einleitung: Mit der Popularität und Entwicklung von Kubernetes beginnen immer mehr Unternehmen und Teams, Kubernetes zum Verwalten und Bereitstellen von Anwendungen zu verwenden. Die standardmäßige Funktionsweise von Kubernetes ist jedoch möglicherweise nicht die beste Wahl, insbesondere wenn effizientere und zuverlässigere Funktionen für die Anwendungsbereitstellung und -verwaltung erforderlich sind. Daher bietet SeaTunnel eine Möglichkeit, die Zeta-Engine auszuführen (lokaler Modus), wodurch Kubernetes die Zeta-Engine lokal ausführen kann, um eine effizientere Anwendungsbereitstellung und -verwaltung zu erreichen. In diesem Artikel erfahren Sie mehr über SeaTunnel k8s mit der Zeta-Engine (Lokalmodus) und erfahren, wie Sie die Vorteile der Zeta-Engine besser nutzen können.

laufen

1. Laden Sie SeaTunnel auf den Server hoch. Ich habe install-plugin.sh zuvor dekomprimiert und ausgeführt. Der Einfachheit halber habe ich den Seatunnel direkt nach der Ausführung des install-plugin.sh-Skripts zur Demonstration verwendet.

Das lib-Verzeichnis nach der Ausführung von install-plugin enthält Folgendes

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3

2. Erstellen Sie das SeaTunnel-Image. Erstellen Sie eine Docker-Datei im selben Ordner, in dem Seatunnel installiert ist. Die Konfiguration ist wie folgt, Sie können die Version selbst auswählen

FROM openjdk:8

ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

Einen Befehl ausführen

docker build -t seatunnel:2.3.3 -f Dockerfile.

3. Bild ansehen

docker images

Gespiegelt wie unten gezeigt

4. Das Laden des Bildes in k8s wird hier zur Demonstration verwendet.

minikube image load seatunnel:2.3.3

minikube image ls 

Bild ansehen

6. Erstellen Sie seatunnel.streaming.conf wie unten gezeigt

env {
  execution.parallelism = 1
  job.mode = "STREAMING"
  checkpoint.interval = 2000
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 160000
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

7. Erstellen Sie eine Konfigurationskarte

kubectl create cm seatunnel-config \
--from-file=seatunnel.streaming.conf=seatunnel.streaming.conf

8. Erstellen Sie seatunnel.yaml wie im folgenden Beispiel

apiVersion: v1
kind: Pod
metadata:
  name: seatunneltest
spec:
  containers:
  - name: seatunnel
    image: seatunnel:2.3.3
    command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel.sh --config /data/seatunnel.streaming.conf -e local"]
    volumeMounts:
      - name: seatunnel-config
        mountPath: /data/seatunnel.streaming.conf
        subPath: seatunnel.streaming.conf
  volumes:
        - name: seatunnel-config
          configMap:
            name: seatunnel-config
            items:
            - key: seatunnel.streaming.conf
              path: seatunnel.streaming.conf
~                                                  

implementieren

kubectl apply -f seatunnel.yaml

Sehen Sie sich die Pod-Ergebnisse wie folgt an

Copyright-Erklärung: Dieser Artikel ist ein Originalartikel des Bloggers und folgt der CC 4.0 BY-SA-Copyright-Vereinbarung. Bitte fügen Sie beim Nachdruck den Original-Quellenlink und diese Erklärung bei.

Ursprünglicher Link: https://blog.csdn.net/weixin_41854429/article/details/132619265

Dieser Artikel wurde von Beluga Open Source Technology veröffentlicht !

Linus nahm die Sache selbst in die Hand, um zu verhindern, dass Kernel-Entwickler Tabulatoren durch Leerzeichen ersetzen. Sein Vater ist einer der wenigen Führungskräfte, die Code schreiben können, sein zweiter Sohn ist Direktor der Open-Source-Technologieabteilung und sein jüngster Sohn ist ein Kern Mitwirkender bei Open Source: Es dauerte ein Jahr, 5.000 häufig verwendete mobile Anwendungen zu konvertieren. Java ist die Sprache, die am anfälligsten für Schwachstellen von Drittanbietern ist. Wang Chenglu, der Vater von Hongmeng: Open Source Hongmeng ist die einzige architektonische Innovation im Bereich der Basissoftware in China. Ma Huateng und Zhou Hongyi geben sich die Hand, um „den Groll zu beseitigen.“ Ehemaliger Microsoft-Entwickler: Die Leistung von Windows 11 ist „lächerlich schlecht“. sind sehr herzerwärmend . Meta Llama 3 wird offiziell veröffentlicht

{{o.name}}

{{m.name}}