1.kafkaをインストールして使用
する1.kafkaインストールパッケージをダウンロードし、
バイナリダウンロードを選択します
2.解凍します
tar -zxvf kafka_2.13-2.6.0.tgz -C ./
解凍後、kafkaディレクトリに入ります。3
。構成ファイルを変更します(configディレクトリの下)。
vim server.properties
クラスタ全体で一意である必要があります
broker.id=0
外部接続を許可する
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092
カンマ "、"で区切られたZookeeperノードアドレス
zookeeper.connect=localhost:2181
4. zookeeperを(kafkaディレクトリの下で)起動し、バックグラウンドで実行します
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
起動後、QuorumPeerMainプロセスを確認できます
jps
5074 Jps
5032 QuorumPeerMain
5.Kafkaを起動します
bin/kafka-server-start.sh -daemon config/server.properties
起動後、Kafkaのプロセスを見ることができます
jps
5446 Kafka
5510 Jps
5032 QuorumPeerMain
---- kafkaプロセスを停止します
bin/kafka-server-stop.sh
----消費者を開始します
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic 主题名 --from-beginning
----プロデューサーを開始します
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic 主题名
2、水路のインストールと使用
1、インストールパッケージのダウンロード、
バイナリダウンロードの選択
2、解凍
tar -xvf apache-flume-1.9.0-bin.tar
解凍後、flumeディレクトリに入ります。3
。構成ファイルを変更します(configディレクトリの下)。
cp flume-conf.properties.template flume-conf.properties
vim flume-conf.properties
a1.sources = s1
a1.channels = c1
a1.sinks = k1
a1.sources.s1.type = syslogudp
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 44444
a1.channels.c1.type = memory
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = DjangoLog(主题名称)
a1.sinks.k1.kafka.bootstrap.servers = 192.168.xx.xx:9092
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1
4.水路を開始します
bin/flume-ng agent --conf conf/ --conf-file conf/flume-conf.properties --name a1 &
5.水路がメッセージを受信できるかどうかをテストします
telnet 192.168.xx.xxx 44444
telnet 192.168.xx.xxx 44444
Trying 192.168.xx.xxx...
Connected to 192.168.xx.xxx.
Escape character is '^]'.
123
OK
6.Kafkaコンシューマービューを使用する
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic DjangoLog --from-beginning
123