Vordergrundverbindung:
Bereitstellung von Hadoop HA (MINI-Version) https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501 Bereitstellung von Spark-Komponenten (MINI-Version) https://blog.csdn.net/m0_54925305/article /details/121615781?spm=1001.2014.3001.5501 Bereitstellung von Kafka-Komponenten (MINI-Version) https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501
Umgebungsvorbereitung:
Nummerierung | CPU-Name | Typ | Benutzer | Passwort |
---|---|---|---|---|
1 | Meister1-1 | Master-Knoten | Wurzel | Passwort |
2 | Sklave1-1 | Slave-Knoten | Wurzel | Passwort |
3 | Sklave1-2 | Slave-Knoten | Wurzel | Passwort |
Hinweis: Der Extraktionscode lautet: 0000
Umgebungsbereitstellung:
1. Installieren Sie den Zookeeper-Cluster vor, machen Sie Screenshots und speichern Sie die Ergebnisse
1. Starten Sie drei Maschinen Zookeeper
bin/zkServer.sh start
2. Entpacken Sie das Storm-Installationspaket in den Pfad „/usr/local/src“ und ändern Sie den dekomprimierten Ordnernamen in storm, machen Sie einen Screenshot und speichern Sie das Ergebnis
1. Gehen Sie in das /h3cu-Verzeichnis, um Storm zu finden
cd /h3cu
2. Sturm dekomprimieren
tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src
3. Sturm umbenennen
mv apache-storm-1.2.4 storm
3. Konfigurieren Sie die Datei „conf/storm.yaml“, machen Sie Screenshots und speichern Sie die Ergebnisse
4. Senden Sie die konfigurierte Datei „conf/storm.yaml“, machen Sie einen Screenshot und speichern Sie das Ergebnis
5. Konfigurieren Sie die Datei nimbus.seeds, machen Sie Screenshots und speichern Sie die Ergebnisse
6. Konfigurieren Sie supervisor.slots.ports, machen Sie Screenshots und speichern Sie die Ergebnisse
1. Gehen Sie in das Verzeichnis storm/conf
cd /usr/local/src/storm/conf
Vor dem Wechsel:
Nach dem Wechsel:
Parameterkonfiguration:
# Zookeeper集群的主机列表 storm.zookeeper.servers: - "master1-1" - "slave1-1" - "slave1-2" # Nimbus的节点列表 nimbus.seeds: ["master1-1", "slave1-1"] # Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等) storm.local.dir: "/usr/local/src/storm/data" #workers进程的端口,每个worker进程会使用一个端口来接收消息 supervisor.slots.ports: - 6700 - 6701 #指定storm集群中的nimbus节点所在的服务器 nimbus.host: "master1-1" #web页面端口号 ui.port: 9999
Hinweis: Sie müssen auf das Format des Dateiinhalts achten. Nach dem Doppelpunkt steht ein Leerzeichen. Bei falschem Format kann der Vorgang nicht gestartet werden.
7. Kopieren Sie das Storm-Paket des Master-Knotens auf den Slave-Knoten, machen Sie einen Screenshot und speichern Sie das Ergebnis
1. Clusterverteilung
scp -r /usr/local/src/storm slave1-1:/usr/local/src/
scp -r /usr/local/src/storm slave1-2:/usr/local/src/
8. Legen Sie die Storm-Umgebungsvariable fest und lassen Sie die Umgebungsvariable nur für den aktuellen Root-Benutzer wirksam werden, machen Sie einen Screenshot und speichern Sie das Ergebnis
1. Fügen Sie Umgebungsvariablen hinzu
vi /root/.bashrc
2. Lassen Sie die Umgebungsvariable sofort wirksam werden
source /root/.bashrc
9. Beginnen Sie auf dem Master-Knoten und dem Slave-Knoten und speichern Sie den Screenshot (erfordert das Ausschneiden der URL und des Status).
Die Masterseite startet die folgenden Dienste
1. Rufen Sie das Verzeichnis storm/bin auf
cd /usr/local/src/storm/bin
2. Starten Sie den Nimbus-Dienst des Master-Knotens von Master und Slave1
nohup sh storm nimbus &
3. Starten Sie den Slave-Node-Supervisor-Dienst
nohup sh storm supervisor &
4. Starten Sie die UI-Schnittstelle ui
nohup sh storm ui &
5. Starten Sie den Protokollanzeigedienst logviewer
nohup sh storm logviewer &
Die Slave-Seite startet die folgenden Dienste
1. Starten Sie den Slave-Node-Supervisor
nohup sh storm supervisor &
2. Starten Sie den Protokollanzeigedienst logviewer
nohup sh storm logviewer &
Überwachen Sie den Status jedes Knotens (Webseite)
1. Geben Sie im Browser master1-1:9999 ein, um den Clusterstatus anzuzeigen
master1-1:9999
Installation und Bereitstellung der Storm-Komponente (MINI-Version) abgeschlossen
Was dich nicht schlagen kann, wird dich stärker machen!