フォアグラウンド接続：
https://blog.csdn.net/m0_54925305/article/details/121566611?spm= 1001.2014.3001.5501環境の準備：
| ナンバリング | CPU名 | タイプ | ユーザー | パスワード |
|---|---|---|---|---|
| 1 | master1-1 | マスターノード | 根 | passwd |
| 2 | slave1-1 | スレーブノード | 根 | passwd |
| 3 | slave1-2 | スレーブノード | 根 | passwd |
注：抽出コードは次のとおりです：0000
環境展開：
1. Hadoop環境をプリインストールし、Hadoop環境が利用可能かどうかを確認し、スクリーンショットを撮り、結果を保存する必要があります
1. jpsコマンドを使用して、クラスターのステータスを表示します
2.scalaインストールパッケージを「/usr/ local / src」パスに解凍し、名前をscalaに変更し、スクリーンショットを撮り、結果を保存します
1. / h3cu /ディレクトリに入り、圧縮されたパッケージを見つけます
cd /h3cu/
2.scalaを解凍します
tar -zxvf scala-2.11.8.tgz -C /usr/local/src3.scalaの名前を変更します
mv scala-2.11.8 scala
3. scala環境変数を設定し、環境変数を現在のユーザーに対してのみ有効にし、スクリーンショットを撮り、結果を保存します
1.scala環境変数を追加します
vi /root/.bashrc
2.環境変数をすぐに有効にします
source /root/.bashrc4. scalaと入力してスクリーンショットを撮り、スクリーンショットを撮り、結果を保存します
1.コマンドscalaを入力して、scalaインターフェースに入ります
5.Sparkインストールパッケージを「/usr/ local / src」パスに解凍し、名前をsparkに変更し、スクリーンショットを撮り、結果を保存します
1.scalaインターフェースを終了します
ctrl+cキーを使用してscalaインターフェースを終了します
2. / h3cu /ディレクトリに入り、Sparkを見つけます
cd /h3cu/
3.Sparkを解凍します
tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz -C /usr/local/src/4.Sparkの名前を変更します
mv spark-2.0.0-bin-hadoop2.7 spark
6. Spark環境変数を設定し、環境変数を現在のユーザーに対してのみ有効にし、スクリーンショットを撮り、結果を保存します
1.Spark環境変数を追加します
vi /root/.bashrc
2.環境変数をすぐに有効にします
source /root/.bashrc7. Sparkパラメーター構成を変更し、Sparkスレーブノードを指定し、スクリーンショットを撮り、結果を保存します
1. / usr / local / src / spark/confディレクトリに入ります
cd /usr/local/src/spark/conf2.新しいスレーブファイルを作成して書き込みます
vi slaves
注：このファイルの内容には、無駄なスペースやその他の文字を多く含めないでください。また、仕様に厳密に従う必要があります。
3.新しいspark-env.shファイルを作成して書き込みます
vi spark-env.shexport JAVA_HOME=/usr/local/src/jdk1.8.0_221 export HADOOP_HOME=/usr/local/hadoop export SCALA_HOME=/usr/local/src/scala export SPARK_MASTER_IP=master1-1 export SPARK_MASTER_PORT=7077 export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_YARN_USER_ENV="CLASSPATH=/usr/local/hadoop/etc/hadoop" export YARN_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master1-1:2181,slave1-1:2181,slave1-2:2181 -Dspark.deploy.zookeeper.dir=/spark"
注：これらの中で、3つのパラメーターの意味は次のとおりです。SPARK_DIST_CLASSPATHはsparkとhadoop間の接続、HADOOP_CONF_DIRはhadoopの構成情報を記述するディレクトリー、SPARK_MASTER_IPはクラスター内のマスターノードのIPアドレスまたは名前です。
4.クラスターの分散
scp -r /usr/local/src/spark slave1-1:/usr/local/src/
scp -r /usr/local/src/spark slave1-2:/usr/local/src/scp -r /root/.bashrc slave1-1:/root/.bashrc
scp -r /root/.bashrc slave1-2:/root/.bashrc5.すべてのマシン環境変数が有効になっていることを確認します
source /root/.bashrc注：3台のマシンすべてを実行する必要があります
8. Sparkを起動し、コマンドを使用してwebUIの結果を表示し、スクリーンショットを撮り、結果を保存します
1. Sparkインストールディレクトリに入り、Sparkを開始します
sbin/start-all.sh注：zookeeperが正常に開始されていることを確認してください
2.ブラウザにmaster1-1：8080と入力して、WebUIを表示します
3.スレーブ側でマスターを起動します
sbin/start-master.sh
注：観察すると、マスターノードのマスター状態がアクティブであり、スレーブノードのマスター状態がスタンバイ状態であることがわかります。つまり、クラスターは正常に実行されています。
Sparkコンポーネントのデプロイ（MINIバージョン）が完了しました
あなたに勝てないものはあなたを強くします！