Índice
1. Vejamos primeiro a definição
2.2 A conexão do banco de dados com o banco de dados é consistente
1. Configuração inicial - fim remoto
1.1 Iniciar o serviço de carte
O comando 1.2cmd inicia o serviço carte
2. Terminal remoto de inicialização
Prefácio:
Comecei a pesquisar a execução remota de trabalhos para poder processar trabalhos de servidor remotamente em meu próprio computador em casa. Após repetidas pesquisas, parecia que as coisas não estavam indo na direção que eu esperava. Mas no final a função de execução remota foi concluída, então registrei alguns métodos para execução remota de tarefas e corrigi alguns erros na Internet para facilitar o aprendizado e o progresso juntos. Este é o resultado final da execução.
1. Execução remota
1. Vejamos primeiro a definição
"Execução remota do Kettle" geralmente se refere à conexão de um computador a outro computador por meio de uma rede e à execução de tarefas ou transformações Kettle ETL (Extrair, Transformar, Carregar) no computador remoto. Isso geralmente requer o uso de algumas ferramentas ou software de conexão remota, como SSH, Telnet ou VNC. Essa abordagem permite que os usuários executem e monitorem facilmente tarefas ou transformações do Kettle em computadores remotos sem operar fisicamente os computadores remotos.
2. Pré-condições
2.1 Rede suave
A partir da definição acima, podemos saber que o servidor/computador remoto é necessário para garantir uma comunicação de rede tranquila entre o servidor/computador remoto .
2.2 A conexão do banco de dados com o banco de dados é consistente
Literalmente falando, o banco de dados correspondente pode ser acessado e as informações JDBC dos dados correspondentes estão em ambos os computadores. E os nomes de conexão de banco de dados correspondentes são consistentes. Ou seja, existe a mesma conexão de banco de dados em ambas as extremidades, ou seja, o IP/porta/nome do recurso são consistentes .
PS: Tutoriais na Internet geralmente pedem que você substitua diretamente o arquivo repositories.xml em sua extremidade remota. Se suas conexões de banco de dados em ambas as extremidades forem inconsistentes, isso pode causar problemas com a conexão de banco de dados na extremidade remota e causar anormalidades nos trabalhos. na extremidade remota. Para a operação de substituição do arquivo repositories.xml, consulte as seguintes operações.
2. Janelas práticas
1. Configuração inicial - fim remoto
1.1 Iniciar o serviço de carte
Inicie o cmd e mude o caminho do diretório cmd para o local do diretório de instalação remota da chaleira Carte.bat. Por exemplo, desta vez o Carte.bat remoto está localizado em D:\kettle\pdi-ce-5.4.0.1-130\data -integração.
O comando 1.2cmd inicia o serviço carte
Iniciar o serviço de carte neste momento é dividido basicamente nas três etapas a seguir:
--win+R启动运行框，输入cmd,弹出cmd黑框
--切换至D盘
D:
--切换至Carte.bat对应目录
cd D:\kettle\pdi-ce-5.4.0.1-130\data-integration
--启动Carte服务，如 carte 10.100.21.34 8080
carte ip 端口 --如 carte 10.100.21.34 8080Quando esta frase aparece, prova que o serviço de carte foi iniciado com sucesso.
2. Terminal remoto de inicialização
Além dos pré-requisitos mencionados acima, mantenha a rede em ambas as extremidades abertas + tenha a mesma conexão com o banco de dados. Neste momento, um subservidor precisa ser estabelecido no lado remoto.
Conforme mostrado na figura acima, nossa árvore de objetos principal no lado do aplicativo kettle corresponde ao subservidor abaixo. Clique com o botão direito para criar um novo subservidor. O nome do servidor correspondente pode ser personalizado e, em seguida, há o IP e porta do serviço Crate iniciado acima, e o nome de usuário padrão.As senhas são todas cluster , completando assim a configuração dos subserviços correspondentes.
3. Aplicação prática
3.1. Casos de erro
Também é muito simples em aplicações práticas. Basta configurar o trabalho correspondente normalmente. Deve-se observar que devemos garantir que o arquivo ou trabalho de conversão chamado correspondente exista na extremidade remota. Ou seja, pode não haver trabalho correspondente na extremidade remota, mas a conversão correspondente, ou seja, o arquivo .ktr remoto, precisa ser salva no local correspondente.
Conforme mostrado na figura acima, na extremidade remota, há um arquivo correspondente a test_zy.ktr na pasta correspondente. Portanto, ao configurarmos o trabalho no lado remoto, podemos configurar a conversão do diretório correspondente na chamada conversão. Como mostrado abaixo.
PS: Aqui, é melhor usarmos um caminho absoluto , porque não temos um trabalho correspondente na extremidade remota, e se usarmos um caminho relativo, ele irá avisar que o arquivo não existe, resultando em carte. por padrão, ele começará a partir da letra da unidade onde o cartão está localizado. Faça a varredura da conversão correspondente e, por padrão, será considerado que a conversão que precisa ser executada remotamente está localizada em D:\test_zy.ktr.
Ou seja, aparecerá o seguinte erro: Este também é o problema mais fácil de ignorar. É uma lição sangrenta.
Então use caminhos absolutos, caminhos absolutos, caminhos absolutos!!!Diga coisas importantes três vezes!
3.2. Caso correto
O texto acima apresenta algumas configurações e erros comuns em aplicações práticas. A seguir, apresentaremos como executar trabalhos remotamente corretamente.
Neste momento, ao executarmos o trabalho remotamente, selecionamos “Execução Remota” e selecionamos o host do subservidor que configuramos correspondente ao host remoto. Clicar nele irá acessar o painel de controle do trabalho de execução remota.
Conforme mostrado na figura abaixo, podemos visualizar todo o processo do trabalho de execução remota correspondente no painel de controle de execução remota.
Conforme mostrado na figura acima, podemos ver o processo de execução correspondente e o log de execução correspondente no painel de controle. O conteúdo do log correspondente é semelhante ao da execução local, que é todo o processo de processamento de dados.
Também podemos ver o log correspondente a todo o processo de execução no serviço de carte remoto.
3. Resumo
Na verdade, a execução remota do kettle foi originalmente projetada para preparar o desenvolvimento paralelo e o clustering. Portanto, quando várias pessoas estão desenvolvendo, podemos recomendar o compartilhamento do conjunto de recursos, para que os pré-requisitos mencionados acima possam ser facilmente atendidos. A rede correspondente deve ser tranquila e a conexão do banco de dados consistente. Por ser um pool de recursos compartilhados, também podemos sincronizar facilmente as conversões ou trabalhos correspondentes para diferentes servidores ou computadores. Dessa forma, podemos executar facilmente o trabalho mais recente, local ou remotamente, para garantir que o efeito final da execução do trabalho seja o que desejamos.
Claro, se quisermos apenas executar alguns trabalhos remotamente e lidar temporariamente com alguns requisitos do trabalho, você pode consultar as operações acima. Claro, isso também ajudará você a entender melhor os princípios por trás do cluster da chaleira. Portanto, podemos escolher com flexibilidade de acordo com as necessidades reais da aplicação ~