第9章 Spark Streaming整合Flume
1.Receiver方式整合
1）启动zk
./zkServer.sh start
2）启动Kafka
./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties
其中-daemon是指后台运行
3）创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka_streaming_topic
其中–replication-factor 1是指副本为1
-partitions 1分区为1
查看是否创建成功
–zookeeper localhost:2181
4）通过控制台来测试本topic是否能够正常的生产和消费信息
生产者
cd /home/hadoop/app/kafka_2.11-0.9.0.0/bin
./kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_streaming_topic
消费者
cd /home/hadoop/app/kafka_2.11-0.9.0.0/bin
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_streaming_topic
