Integração de processamento de fluxo de Kettle e Kafka

A versão Kettle8.0 integra automaticamente o plugin kafka. Se a versão for inferior, você precisa instalar o plugin.

1. Preparação ambiental

Configure o ambiente de teste autônomo do Kafka no Docker da máquina virtual.

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

docker run -d --name zookeeper -p 2181:2181 -t  wurstmeister/zookeeper

docker run -d --name kafka --publish 9092:9092 --link zookeeper --
env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env
KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env
KAFKA_ADVERTISED_PORT=9092 wurstmeister/kafka

Nota: certifique-se de que a porta do host Docker está livre

2. Conecte-se ao Kafka na chaleira

2.1 Introdução do produtor

2.2 Introdução ao consumidor

Essas duas etapas são para estabelecer uma subconversão, podemos especificar no consumidor para retornar os dados de qualquer etapa da subconversão e, em seguida, realizar as operações subsequentes

3. Resultados do teste

No teste, executei uma operação de impressão de log nos dados obtidos do fluxo