Kafka + flumeの使用

1.kafkaをインストールして使用
する1.kafkaインストールパッケージをダウンロードし、
バイナリダウンロード選択します
バイナリパッケージ
2.解凍します

tar -zxvf kafka_2.13-2.6.0.tgz -C ./

解凍後、kafkaディレクトリに入ります。3 Kafkaディレクトリ構造
。構成ファイルを変更します(configディレクトリの下)。

vim server.properties

クラスタ全体で一意である必要があります

broker.id=0

外部接続を許可する

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092

カンマ "、"で区切られたZookeeperノードアドレス

zookeeper.connect=localhost:2181

4. zookeeperを(kafkaディレクトリの下で)起動し、バックグラウンドで実行します

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

起動後、QuorumPeerMainプロセスを確認できます

jps
5074 Jps
5032 QuorumPeerMain

5.Kafkaを起動します

bin/kafka-server-start.sh -daemon config/server.properties

起動後、Kafkaのプロセスを見ることができます

jps
5446 Kafka
5510 Jps
5032 QuorumPeerMain

---- kafkaプロセスを停止します

bin/kafka-server-stop.sh

----消費者を開始します

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic 主题名 --from-beginning

----プロデューサーを開始します

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic 主题名

2、水路のインストールと使用
1、インストールパッケージのダウンロード、
バイナリダウンロードの選択
水路設置パッケージをダウンロードする
2、解凍

tar -xvf apache-flume-1.9.0-bin.tar

解凍後、flumeディレクトリに入ります。3
水路ディレクトリ
。構成ファイルを変更します(configディレクトリの下)。

cp flume-conf.properties.template flume-conf.properties
vim flume-conf.properties
a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = syslogudp
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 44444

a1.channels.c1.type = memory

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = DjangoLog(主题名称)
a1.sinks.k1.kafka.bootstrap.servers = 192.168.xx.xx:9092

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

4.水路を開始します

bin/flume-ng agent --conf conf/ --conf-file conf/flume-conf.properties --name a1 &

5.水路がメッセージを受信できるかどうかをテストします

telnet 192.168.xx.xxx 44444
telnet 192.168.xx.xxx 44444
Trying 192.168.xx.xxx...
Connected to 192.168.xx.xxx.
Escape character is '^]'.
123
OK

6.Kafkaコンシューマービューを使用する

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic DjangoLog --from-beginning
123

おすすめ

転載: blog.csdn.net/weixin_44784018/article/details/109488122