Flume atraca com Kafka para simular dados de produção em tempo real dos produtores

Flume atraca com Kafka para simular dados de produção em tempo real dos produtores

introdução

O Flume pode monitorar o log em tempo real. Cada vez que um log é adicionado, o Flume o percebe e pode transmitir esses novos dados para o Kafka. Na produção real, o comportamento de cada usuário gera um dado e o salva no log ou banco de dados, E então use o flume para puxar dados do log.
Tarefa: Use um script de shell para simular o comportamento do usuário. Dez dados gerados por segundo são armazenados no log. Flume puxa os dados do log e os transfere para
Kafka. Dados existentes: cmcc.json, diretório log: cmcc.log

1. Escreva o script readcmcc.sh , acrescente 10 registros de cmcc.json a cmcc.log em 1 segundo

for line in `cat /root/log/cmcc.json`
do
 	`echo $line >> /root/log/cmcc.log`
 	sleep 0.1s
done

2. Escreva o script do flume

agent.sources = s1                                                                                                                  
agent.channels = c1                                                                                                                 
agent.sinks = k1 
agent.sources.s1.type=exec
#监控的文件                                                                                            
agent.sources.s1.command=tail -F /root/log/cmcc.log                                                                           
agent.sources.s1.channels=c1                                                                                                        
agent.channels.c1.type=memory                                                                                                       
agent.channels.c1.capacity=10000                                                                                                    
agent.channels.c1.transactionCapacity=100 
#设置一个kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置kafka的broker地址和端口号(所有的)
agent.sinks.k1.brokerList=hadoop01:9092,hadoop02:9092,hadoop03:9092
#设置kafka的topic
agent.sinks.k1.topic=cmcc2
#设置一个序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
#组装
agent.sinks.k1.channel=c1

3. Inicie o Kafka

 #启动kafka：
        nohup bin/kafka-server-start.sh  config/server.properties &
    #查看kafka的topic列表：
        bin/kafka-topics.sh --list --zookeeper hadoop02:2181
    #查看topic中的数据：
        bin/kafka-console-consumer.sh --zookeeper hadoop02:2181 --from-beginning --topic cmcc

4. Execute o script do flume

bin/flume-ng agent -c conf -f conf/flume_kafka.sh -n agent -Dflume.root.logger=INFO,console

5. Execute o script de shell

sh readcmcc.sh

Vista lateral 6.kafka

#查看有没有生成目标topic
bin/kafka-topics.sh --list --zookeeper hadoop02:2181
#读取次topic中的数据
bin/kafka-console-consumer.sh --zookeeper hadoop02:2181 --from-beginning --topic cmcckafka