二、启动和配置 flum kafka
1、Zookeeper
运行 kafka 需要使用 Zookeeper，所以你需要先启动 Zookeeper
for host in s201 s202 s203;dossh $host "source /etc/profile;/soft/zk/bin/zkServer.sh start";donefor host in s201 s202 s203;dossh $host "source /etc/profile;/soft/zk/bin/zkServer.sh status" done
2、启动kafka
启动 kafka
bin/kafka-server-start.sh config/server.properties &bin/kafka-server-stop.sh config/server.properties &
通过 list 命令查看创建的 topic:
创建一个叫做“flume”的 topic，它只有一个分区，一个副本。
bin/kafka-topics.sh --list --zookeeper s201:2181
创建一个消费者:
bin/kafka-topics.sh --create --zookeeper s201:2181 --replication-factor 1 --partitions 1 --topic flumeTopic
启动 Kafka consumer:
bin/kafka-console-consumer.sh --zookeeper s201:2181 --topic flumeTopic --from-beginning
3、Flume
启动 Flume
bin/flume-ng agent --conf conf --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console
Flume 配置
vi conf/a1.conf