フォアグラウンド接続:
Hadoop HAデプロイメント(MINIバージョン)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501 https://blog.csdn.net/m0_54925305/article/details/121566611?spm= 1001.2014.3001.5501 Sparkコンポーネントのデプロイ(MINIバージョン)https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501 https://blog.csdn.net/m0_54925305/article/details/121615781 ?spm = 1001.2014.3001.5501
環境の準備:
ナンバリング | CPU名 | タイプ | ユーザー | パスワード |
---|---|---|---|---|
1 | master1-1 | マスターノード | 根 | passwd |
2 | slave1-1 | スレーブノード | 根 | passwd |
3 | slave1-2 | スレーブノード | 根 | passwd |
注:抽出コードは次のとおりです:0000
環境展開:
1. Zookeeperコンポーネントをインストールする必要があります特定の要件はZookeeperタスクの要件と同じであり、Kafka環境に適応し、Zookeeperを起動して、スクリーンショットを使用して結果を保存します
1.3台のマシンzookeeperを起動します
bin/zkServer.sh start
2.Kafkaインストールパッケージを「/usr/ local / src」パスに解凍し、解凍したフォルダー名をkafkaに変更し、スクリーンショットを撮り、結果を保存します
1. / h3cuディレクトリに入り、kafkaを見つけます
cd /h3cu
2.kafkaを解凍します
tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src
3.kafkaの名前を変更します
mv kafka_2.11-1.0.0 kafka
3. Kafka環境変数を設定し、環境変数を現在のrootユーザーに対してのみ有効にし、スクリーンショットを撮り、結果を保存します
1.環境変数を追加します
vi /root/.bashrc
2.環境変数をすぐに有効にします
source /root/.bashrc
4. Kafkaの対応するファイルを変更し、スクリーンショットを撮り、結果を保存します
1. kafka/configディレクトリに入ります
cd /usr/local/src/kafka/config
2.server.propertiesファイルを変更します
vi server.properties
A. zookeeper.connectを変更し、log.dirsを変更して、最後に2行追加します
変更する前に:
変更後:
変更する前に:
変更後:
最後に追加します:
host.name=master1-1 delete.topic.enable=true
3.ログディレクトリを作成します
mkdir logs
注:デフォルトでは、kafkaインストールディレクトリにlogsディレクトリがないため、kafka/の下にlogsディレクトリを作成します。
4.クラスターの分散
scp -r /usr/local/src/kafka slave1-1:/usr/local/src/
scp -r /usr/local/src/kafka slave1-2:/usr/local/src/
5.それぞれslave1とslave2のserver.propertiesファイルを変更します
slave1-1ノード:
broker.id=1 host.name=slave1-1
slave1-2ノード:
broker.id=2 host.name=slave1-2
5. Kafkaを起動してコマンド出力結果を保存し、スクリーンショットを撮り、結果を保存します
kafkaインストールディレクトリに入る
1.kafkaを起動します
bin/kafka-server-start.sh -daemon ./config/server.properties &
注:kafkaを開始する前に、zookeeperが開始され、3台すべてのマシンが開始されていることを確認してください
6.指定したトピックを作成し、スクリーンショットを撮り、結果を保存します
1.マスターでトピックテストを作成します
./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test
7.すべてのトピック情報を表示し、スクリーンショットを撮り、結果を保存します
1.すべてのトピック情報を表示する
./bin/kafka-topics.sh --list --zookeeper localhost:2181
8.指定されたプロデューサー(プロデューサー)を起動し、スクリーンショットを撮り、結果を保存します
1.マスターでプロデューサーを起動します
./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test
9.コンシューマーを起動し、スクリーンショットを撮り、結果を保存します
1.スレーブでコンシューマーを起動します
./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test
10.プロデューサーをテストし、スクリーンショットを撮り、結果を保存します
注:プロデューサーにコンテンツを入力するだけです
11.コンシューマーをテストし、スクリーンショットを撮り、結果を保存します
注:コンシューマーは、プロデューサーが入力したコンテンツを自動的に印刷します
Kafkaコンポーネントの展開(MINIバージョン)が完了しました
あなたに勝てないものはあなたを強くします!