Ensina passo a passo como usar o SeaTunnel k8s para executar o modo local do motor Zeta

[Antevisão da transmissão ao vivo] Os modelos grandes substituirão os programadores? "

Reimpresso de Xiao Xiami 0.0

Introdução: Com a popularidade e o desenvolvimento do Kubernetes, mais e mais empresas e equipes estão começando a usar o Kubernetes para gerenciar e implantar aplicativos. No entanto, a forma padrão como o Kubernetes funciona pode não ser a melhor escolha, especialmente quando são necessários recursos de gerenciamento e implantação de aplicativos mais eficientes e confiáveis. Portanto, o SeaTunnel fornece uma maneira de executar o mecanismo Zeta (modo de modo local), que permite ao Kubernetes executar o mecanismo Zeta localmente para obter implantação e gerenciamento de aplicativos mais eficientes. Neste artigo, exploraremos mais sobre o SeaTunnel k8s executando o mecanismo Zeta (modo de modo local) e aprenderemos como aproveitar melhor as vantagens do mecanismo Zeta.

correr

1. Carregue o SeaTunnel para o servidor. Já descompactei e executei install-plugin.sh antes. Por conveniência, usei diretamente o seatunnel após executar o script install-plugin.sh para demonstração.

O diretório lib após a execução do install-plugin contém o seguinte

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3

2. Construa a imagem do SeaTunnel. Crie um Dockerfile na mesma pasta onde o seatunnel está instalado. A configuração é a seguinte, você mesmo pode escolher a versão

FROM openjdk:8

ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

Executando um pedido

docker build -t seatunnel:2.3.3 -f Dockerfile.

3. Ver imagem

docker images

Espelhado conforme mostrado abaixo

4. Carregar a imagem no k8s é usado aqui para demonstração.

minikube image load seatunnel:2.3.3

minikube image ls 

Ver imagem

6. Crie seatunnel.streaming.conf conforme mostrado abaixo

env {
  execution.parallelism = 1
  job.mode = "STREAMING"
  checkpoint.interval = 2000
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 160000
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

7. Criar mapa de configuração

kubectl create cm seatunnel-config \
--from-file=seatunnel.streaming.conf=seatunnel.streaming.conf

8. Crie seatunnel.yaml conforme o exemplo a seguir

apiVersion: v1
kind: Pod
metadata:
  name: seatunneltest
spec:
  containers:
  - name: seatunnel
    image: seatunnel:2.3.3
    command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel.sh --config /data/seatunnel.streaming.conf -e local"]
    volumeMounts:
      - name: seatunnel-config
        mountPath: /data/seatunnel.streaming.conf
        subPath: seatunnel.streaming.conf
  volumes:
        - name: seatunnel-config
          configMap:
            name: seatunnel-config
            items:
            - key: seatunnel.streaming.conf
              path: seatunnel.streaming.conf
~                                                  

implemento

kubectl apply -f seatunnel.yaml

Veja os resultados do pod da seguinte maneira

Declaração de direitos autorais: Este artigo é um artigo original do blogueiro e segue o acordo de direitos autorais CC 4.0 BY-SA. Anexe o link da fonte original e esta declaração ao reimprimir.

Link original: https://blog.csdn.net/weixin_41854429/article/details/132619265

Este artigo foi publicado pela Beluga Open Source Technology !

Linus resolveu resolver o problema por conta própria para evitar que os desenvolvedores do kernel substituíssem tabulações por espaços. Seu pai é um dos poucos líderes que sabe escrever código, seu segundo filho é o diretor do departamento de tecnologia de código aberto e seu filho mais novo é um núcleo. contribuidor de código aberto Huawei: Demorou 1 ano para converter 5.000 aplicativos móveis comumente usados ​​A migração abrangente para Hongmeng Java é a linguagem mais propensa a vulnerabilidades de terceiros Wang Chenglu, o pai de Hongmeng: Hongmeng de código aberto é a única inovação arquitetônica. no campo de software básico na China. Ma Huateng e Zhou Hongyi apertam as mãos para "remover rancores". Ex-desenvolvedor da Microsoft: o desempenho do Windows 11 é "ridiculamente ruim" " Embora o que Laoxiangji seja de código aberto não seja o código, as razões por trás disso são muito emocionantes. Meta Llama 3 é lançado oficialmente. Google anuncia uma reestruturação em grande escala.

{{o.nome}}

{{m.nome}}