フォアグラウンド接続:
Hadoop HAデプロイメント(MINIバージョン)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501 Sparkコンポーネントデプロイメント(MINIバージョン)https://blog.csdn.net/m0_54925305/article /details/121615781?spm=1001.2014.3001.5501 Kafkaコンポーネントのデプロイ(MINIバージョン)https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501
環境の準備:
ナンバリング | CPU名 | タイプ | ユーザー | パスワード |
---|---|---|---|---|
1 | master1-1 | マスターノード | 根 | passwd |
2 | slave1-1 | スレーブノード | 根 | passwd |
3 | slave1-2 | スレーブノード | 根 | passwd |
注:抽出コードは次のとおりです:0000
環境展開:
1. Zookeeperクラスターをプレインストールし、スクリーンショットを撮り、結果を保存します
1.3台のマシンzookeeperを起動します
bin/zkServer.sh start
2.Stormインストールパッケージを「/usr/ local / src」パスに解凍し、解凍されたフォルダー名をストームに変更し、スクリーンショットを撮り、結果を保存します
1. / h3cuディレクトリに入り、ストームを見つけます
cd /h3cu
2.ストームを解凍します
tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src
3.ストームの名前を変更します
mv apache-storm-1.2.4 storm
3.「conf/storm.yaml」ファイルを構成し、スクリーンショットを撮り、結果を保存します
4.構成された「conf/storm.yaml」ファイルを送信し、スクリーンショットを撮り、結果を保存します
5. nimbus.seedsファイルを構成し、スクリーンショットを撮り、結果を保存します
6. Supervisor.slots.portsを構成し、スクリーンショットを撮り、結果を保存します
1. storm/confディレクトリに入ります
cd /usr/local/src/storm/conf
変更する前に:
変更後:
パラメータ設定:
# Zookeeper集群的主机列表 storm.zookeeper.servers: - "master1-1" - "slave1-1" - "slave1-2" # Nimbus的节点列表 nimbus.seeds: ["master1-1", "slave1-1"] # Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等) storm.local.dir: "/usr/local/src/storm/data" #workers进程的端口,每个worker进程会使用一个端口来接收消息 supervisor.slots.ports: - 6700 - 6701 #指定storm集群中的nimbus节点所在的服务器 nimbus.host: "master1-1" #web页面端口号 ui.port: 9999
注:ファイルの内容の形式に注意する必要があります。コロンの後にスペースがあります。形式が間違っていると、プロセスを開始できません。
7.マスターノードのStormパッケージをスレーブノードにコピーし、スクリーンショットを撮り、結果を保存します
1.クラスターの分散
scp -r /usr/local/src/storm slave1-1:/usr/local/src/
scp -r /usr/local/src/storm slave1-2:/usr/local/src/
8. Storm環境変数を設定し、環境変数を現在のrootユーザーに対してのみ有効にし、スクリーンショットを撮り、結果を保存します
1.環境変数を追加します
vi /root/.bashrc
2.環境変数をすぐに有効にします
source /root/.bashrc
9.マスターノードとスレーブノードで開始し、スクリーンショットを保存します(URLとステータスをカットする必要があります)
マスター側は以下のサービスを開始します
1. storm/binディレクトリに入ります
cd /usr/local/src/storm/bin
2.マスターとスレーブ1のマスターノードニンバスサービスを開始します
nohup sh storm nimbus &
3.スレーブノードスーパーバイザサービスを開始します
nohup sh storm supervisor &
4.UIインターフェイスuiを起動します
nohup sh storm ui &
5.ログ表示サービスlogviewerを起動します
nohup sh storm logviewer &
スレーブ側は以下のサービスを開始します
1.スレーブノードスーパーバイザーを起動します
nohup sh storm supervisor &
2.ログ表示サービスlogviewerを起動します
nohup sh storm logviewer &
各ノードのステータスを監視する(Web側)
1.ブラウザにmaster1-1:9999と入力して、クラスタのステータスを表示します
master1-1:9999
ストームコンポーネントのインストールと展開(MINIバージョン)が完了しました
あなたに勝てないものはあなたを強くします!