Kettle与Kafka流处理的整合

Kettle8.0版本自动集成kafka插件，如果版本较低，就需要自己安装插件。

一. 环境准备

在虚拟机的Docker中搭建Kafka单机测试环境。

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

docker run -d --name zookeeper -p 2181:2181 -t  wurstmeister/zookeeper

docker run -d --name kafka --publish 9092:9092 --link zookeeper --
env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env
KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env
KAFKA_ADVERTISED_PORT=9092 wurstmeister/kafka

注意：确保Docker宿主机端口空闲

二. Kettle中连接Kafka

2.1 生产者介绍

2.2 消费者介绍

这两步是建立一个子转换，我们可以在消费者中指定从子转换的任意步骤返回数据，再进行后续操作

三. 测试结果

我在测试中将从流中获取的数据进行了日志打印操作