51. Kafkaコンポーネントの展開(MINIバージョン)

フォアグラウンド接続:

Hadoop HAデプロイメント(MINIバージョン)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501 https://blog.csdn.net/m0_54925305/article/details/121566611?spm= 1001.2014.3001.5501 Sparkコンポーネントのデプロイ(MINIバージョン)https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501 https://blog.csdn.net/m0_54925305/article/details/121615781 ?spm = 1001.2014.3001.5501

環境の準備:

ナンバリング CPU名 タイプ ユーザー パスワード
1 master1-1 マスターノード passwd
2 slave1-1 スレーブノード passwd
3 slave1-2 スレーブノード passwd

kafka_2.11-1.0.0.tgz

        注:抽出コードは次のとおりです:0000

環境展開:

1. Zookeeperコンポーネントをインストールする必要があります特定の要件はZookeeperタスクの要件と同じであり、Kafka環境に適応し、Zookeeperを起動して、スクリーンショットを使用して結果を保存します

        1.3台のマシンzookeeperを起動します

bin/zkServer.sh start

 

2.Kafkaインストールパッケージを「/usr/ local / src」パスに解凍し、解凍したフォルダー名をkafkaに変更し、スクリーンショットを撮り、結果を保存します

        1. / h3cuディレクトリに入り、kafkaを見つけます

cd /h3cu

         2.kafkaを解凍します

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src

        3.kafkaの名前を変更します

mv kafka_2.11-1.0.0 kafka

3. Kafka環境変数を設定し、環境変数を現在のrootユーザーに対してのみ有効にし、スクリーンショットを撮り、結果を保存します 

        1.環境変数を追加します

vi /root/.bashrc

        2.環境変数をすぐに有効にします 

source /root/.bashrc

4. Kafkaの対応するファイルを変更し、スクリーンショットを撮り、結果を保存します

        1. kafka/configディレクトリに入ります

cd /usr/local/src/kafka/config

        2.server.propertiesファイルを変更します 

vi server.properties

                A. zookeeper.connectを変更し、log.dirsを変更して、最後に2行追加します

変更する前に:

変更後:

変更する前に:

変更後:

 最後に追加します:

host.name=master1-1
delete.topic.enable=true

        3.ログディレクトリを作成します

mkdir logs

        注:デフォルトでは、kafkaインストールディレクトリにlogsディレクトリがないため、kafka/の下にlogsディレクトリを作成します。

        4.クラスターの分散

scp -r /usr/local/src/kafka slave1-1:/usr/local/src/
scp -r /usr/local/src/kafka slave1-2:/usr/local/src/

        5.それぞれslave1とslave2のserver.propertiesファイルを変更します

slave1-1ノード:

broker.id=1
host.name=slave1-1

slave1-2ノード:

broker.id=2
host.name=slave1-2

5. Kafkaを起動してコマンド出力結果を保存し、スクリーンショットを撮り、結果を保存します

kafkaインストールディレクトリに入る

        1.kafkaを起動します

 bin/kafka-server-start.sh -daemon ./config/server.properties  &

        注:kafkaを開始する前に、zookeeperが開始され、3台すべてのマシンが開始されていることを確認してください

 

6.指定したトピックを作成し、スクリーンショットを撮り、結果を保存します

        1.マスターでトピックテストを作成します

./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test

7.すべてのトピック情報を表示し、スクリーンショットを撮り、結果を保存します

        1.すべてのトピック情報を表示する

./bin/kafka-topics.sh --list --zookeeper localhost:2181

8.指定されたプロデューサー(プロデューサー)を起動し、スクリーンショットを撮り、結果を保存します 

        1.マスターでプロデューサーを起動します

./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test

9.コンシューマーを起動し、スクリーンショットを撮り、結果を保存します

        1.スレーブでコンシューマーを起動します

./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test

10.プロデューサーをテストし、スクリーンショットを撮り、結果を保存します

        注:プロデューサーにコンテンツを入力するだけです 

11.コンシューマーをテストし、スクリーンショットを撮り、結果を保存します

        注:コンシューマーは、プロデューサーが入力したコンテンツを自動的に印刷します

Kafkaコンポーネントの展開(MINIバージョン)が完了しました


あなたに勝てないものはあなたを強くします!

おすすめ

転載: blog.csdn.net/m0_54925305/article/details/121647743