Spark3 の詳細なインストール手順

---

序文

この記事には、spark-3.1.2 の詳細なインストール手順が記録されています。保存して静かにロールアップすることをお勧めします~~

---

1. 事前準備

1. クラスターマシンは相互に時刻を同期します
2. マシン間でのパスワード不要のログイン
3. すべてのマシンのファイアウォールをオフにする
4. すべてのマシンにJDK1.8 をインストールする必要があります
5. Hadoop環境は3.2が最適

2. インストールパッケージを Linux にアップロードします

インストールパッケージ名: spark-3.1.2-bin-hadoop3.2.tgz

ソフトウェアディレクトリにアップロードしました

3. インストールパッケージを解凍します。

まずソフトウェア ディレクトリに cd して、インストール パッケージを /usr/local/ パスに解凍します。

    [root@cq01 softwares]# tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local/

/usr/localと入力し、spark-3.1.2-bin-hadoop3.2.tgzの名前をsparkに変更します。

    [root@cq01 softwares]# cd /usr/local/
    [root@cq01 local]# mv spark-3.1.2-bin-hadoop3.2/ spark

4. 設定ファイル

インストール パスから conf に移動し、設定します。

    [root@cq01 local]# cd /usr/local/spark/conf/

1.spark-env.sh.テンプレート

名前をspark-env.shに変更します

[root@cq01 conf]# mv spark-env.sh.template spark-env.sh

Spark-env.sh ファイルを編集する

    [root@cq01 conf]# vi spark-env.sh

ドキュメントの最後に jdk インストール パスを追加します。

2.workers.テンプレート

名前をworkerに変更

    [root@cq01 conf]# mv workers.template workers

自分のノードに合わせてスレーブノードを追加します（にマスターノードを書かないように注意してください）

    [root@cq01 conf]# vi workers 

5. 他のノードへの配布

まずローカルパスに戻ります

    [root@cq01 conf]# cd /usr/local/

構成されたコンテンツを他のノードに配布します (独自のクラスター内のマシンの数に応じて配布されます)。

    [root@cq01 local]# scp -r ./spark/ cq02:$PWD
    [root@cq01 local]# scp -r ./spark/ cq03:$PWD

6. グローバル環境変数を構成する

グローバル環境変数を構成した後は、どこにいても bin の下のスクリプトを使用できます。他のいくつかのマシンの環境変数も設定する必要があることに注意してください。

    [root@cq01 local]# vi /etc/profile

    #spark environment
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

環境変数を再起動する

    [root@cq01 local]# source /etc/profile

7. クラスターの起動

インストールディレクトリの下にある sbin ディレクトリを入力します。

    [root@cq01 spark]# cd /usr/local/spark/sbin/

起動する

    [root@cq01 sbin]# ./start-all.sh

以下のプロンプトが表示されれば起動は完了です。

8. プロセスを確認する

jps コマンドを使用してプロセスを表示します。ここでは、クラスター内のすべてのマシンを表示するプロセスを作成しました。

    [root@cq01 sbin]# jps-cluster.sh 

次のプロセスは、正常に開始されたことを示しているようです。

9. ウェブアクセス

Spark3.1.2 が提供する WebUI インターフェースは Tomcat のポート8080と同じなので、URL http://仮想マシンマスターの IP アドレス: 8080 を入力してアクセスすると、次のインターフェースが表示されます。

10. 検証

Sparkのbinディレクトリに入り、以下のコマンドを実行します。

    [root@cq01 bin]# ./run-example SparkPi 5 --master local[1]

次のインターフェイスが表示されたら、操作が成功したことを意味します。

---

要約する

この時点で、spark-3.1.2 のインストールは完了です。ご質問がございましたら、お気軽にチャットしてください。