Apprenez étape par étape à utiliser SeaTunnel k8s pour exécuter le mode local du moteur Zeta.

[Aperçu de diffusion en direct] Les grands modèles remplaceront-ils les programmeurs ? "

Réimprimé de Xiao Xiami 0.0

Introduction : Avec la popularité et le développement de Kubernetes, de plus en plus d'entreprises et d'équipes commencent à utiliser Kubernetes pour gérer et déployer des applications. Cependant, le mode de fonctionnement par défaut de Kubernetes n'est peut-être pas le meilleur choix, en particulier lorsque des capacités de déploiement et de gestion d'applications plus efficaces et plus fiables sont nécessaires. Par conséquent, SeaTunnel fournit un moyen d'exécuter le moteur Zeta (mode local), ce qui permet à Kubernetes d'exécuter le moteur Zeta localement pour obtenir un déploiement et une gestion plus efficaces des applications. Dans cet article, nous explorerons davantage le moteur Zeta du SeaTunnel k8 (mode local) et apprendrons comment mieux tirer parti du moteur Zeta.

courir

1. Téléchargez SeaTunnel sur le serveur. J'ai déjà décompressé et exécuté install-plugin.sh Pour plus de commodité, j'ai directement utilisé le Seatunnel après avoir exécuté le script install-plugin.sh pour la démonstration.

Le répertoire lib après l'exécution du plugin d'installation contient les éléments suivants

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3

2. Créez l'image SeaTunnel. Créez un Dockerfile dans le même dossier où Seatunnel est installé. La configuration est la suivante, vous pouvez choisir vous-même la version

FROM openjdk:8

ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

Exécuter une commande

docker build -t seatunnel:2.3.3 -f Dockerfile.

3. Voir l'image

docker images

En miroir comme indiqué ci-dessous

4. Chargez l'image dans k8s. Minikube est utilisé ici pour la démonstration.

minikube image load seatunnel:2.3.3

minikube image ls 

Voir l'image

6. Créez Seatunnel.streaming.conf comme indiqué ci-dessous

env {
  execution.parallelism = 1
  job.mode = "STREAMING"
  checkpoint.interval = 2000
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 160000
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

7. Créer une carte de configuration

kubectl create cm seatunnel-config \
--from-file=seatunnel.streaming.conf=seatunnel.streaming.conf

8. Créez Seatunnel.yaml comme exemple suivant

apiVersion: v1
kind: Pod
metadata:
  name: seatunneltest
spec:
  containers:
  - name: seatunnel
    image: seatunnel:2.3.3
    command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel.sh --config /data/seatunnel.streaming.conf -e local"]
    volumeMounts:
      - name: seatunnel-config
        mountPath: /data/seatunnel.streaming.conf
        subPath: seatunnel.streaming.conf
  volumes:
        - name: seatunnel-config
          configMap:
            name: seatunnel-config
            items:
            - key: seatunnel.streaming.conf
              path: seatunnel.streaming.conf
~                                                  

mettre en œuvre

kubectl apply -f seatunnel.yaml

Afficher les résultats du pod comme suit

Déclaration de droits d'auteur : cet article est un article original du blogueur et suit l'accord de droits d'auteur CC 4.0 BY-SA. Veuillez joindre le lien source original et cette déclaration lors de la réimpression.

Lien d'origine : https://blog.csdn.net/weixin_41854429/article/details/132619265

Cet article est publié par Beluga Open Source Technology !

Linus a pris les choses en main pour empêcher les développeurs du noyau de remplacer les tabulations par des espaces. Son père est l'un des rares dirigeants capables d'écrire du code, son deuxième fils est directeur du département de technologie open source et son plus jeune fils est un noyau. contributeur à l'open source. Huawei : Il a fallu 1 an pour convertir 5 000 applications mobiles couramment utilisées Migration complète vers Hongmeng Java est le langage le plus sujet aux vulnérabilités tierces Wang Chenglu, le père de Hongmeng : l'open source Hongmeng est la seule innovation architecturale. dans le domaine des logiciels de base en Chine, Ma Huateng et Zhou Hongyi se serrent la main pour « éliminer les rancunes ». Ancien développeur de Microsoft : les performances de Windows 11 sont « ridiculement mauvaises » " Bien que ce que Laoxiangji est open source, ce ne soit pas le code, les raisons qui le sous-tendent. sont très réconfortants. Meta Llama 3 est officiellement publié. Google annonce une restructuration à grande échelle.

{{o.name}}

{{m.nom}}