Spark Standalone スタンドアロンモード環境構築

1. 実験環境

---

1. JDKバージョン：jdk1.8.0_171
2. Spark バージョン: 2.1.0、ダウンロード アドレス
3. Linux オペレーティング システム: CentOS6.5

2. 準備作業

---

1. JDKのインストールについては「Hadoop2.7.3環境構築 擬似分散」を参照してください。
2. Spark インストール パッケージはディレクトリ/ツールにアップロードされています (事前に作成する必要があります)

3. インストールと展開

---

3. 解凍してインストール: ツールに移動し、次のコマンドを実行します。
   tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /training/

   注意：由于Spark的脚本命令和Hadoop有冲突，只需在.bash_profile中设置一个即可（不能同时设置）

4. 構成ファイルを変更します:spark-env.sh (事前に存在しないため、作成またはコピーする必要があります)

   export JAVA_HOME=/home/hadoop/software/jdk
   export SPARK_MASTER_HOST=Master
   export SPARK_MASTER_PORT=7077
   #history 配置历史服务
   export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/home/hadoop/software/spark/history"
   
        
        
         
         
   
        
        
         
         
   

   注意：history目录需要事先创建

5. スレーブ ファイルを変更し、localhost をホスト名 Master に変更します。

6. Spark-defaults.conf.template を Spark-defaults.conf にコピーし、次の内容を追加します

   spark.eventLog.enabled           true
   spark.eventLog.dir               /home/hadoop/software/spark/logs
   
        
        
         
         
   
        
        
         
         
   

   注意：logs目录需要事先创建

7. Spark を開始します。インストール ディレクトリの下の sbin ディレクトリに移動し、次のコマンドを実行します。
   ./start-all.sh

8. Spark 履歴サービスを開始します。インストール ディレクトリの下の sbin ディレクトリに移動し、次のコマンドを実行します。
   start-history-server.sh

9. SparkUI にアクセスしてください: http://niit-master:8080
   

10. Spark 履歴サービスにアクセスしてください: http://niit-master:18080
    

1. 実験環境

---

1. JDKバージョン：jdk1.8.0_171
2. Spark バージョン: 2.1.0、ダウンロード アドレス
3. Linux オペレーティング システム: CentOS6.5

2. 準備作業

---

1. JDKのインストールについては「Hadoop2.7.3環境構築 擬似分散」を参照してください。
2. Spark インストール パッケージはディレクトリ/ツールにアップロードされています (事前に作成する必要があります)

3. インストールと展開

---

3. 解凍してインストール: ツールに移動し、次のコマンドを実行します。
   tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /training/

   注意：由于Spark的脚本命令和Hadoop有冲突，只需在.bash_profile中设置一个即可（不能同时设置）

4. 構成ファイルを変更します:spark-env.sh (事前に存在しないため、作成またはコピーする必要があります)

   export JAVA_HOME=/home/hadoop/software/jdk
   export SPARK_MASTER_HOST=Master
   export SPARK_MASTER_PORT=7077
   #history 配置历史服务
   export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/home/hadoop/software/spark/history"
   
        
        
       
       
   
        
        
       
       
   

   注意：history目录需要事先创建

5. スレーブ ファイルを変更し、localhost をホスト名 Master に変更します。

6. Spark-defaults.conf.template を Spark-defaults.conf にコピーし、次の内容を追加します

   spark.eventLog.enabled           true
   spark.eventLog.dir               /home/hadoop/software/spark/logs
   
        
        
       
       
   
        
        
       
       
   

   注意：logs目录需要事先创建

7. Spark を開始します。インストール ディレクトリの下の sbin ディレクトリに移動し、次のコマンドを実行します。
   ./start-all.sh

8. Spark 履歴サービスを開始します。インストール ディレクトリの下の sbin ディレクトリに移動し、次のコマンドを実行します。
   start-history-server.sh

9. SparkUI にアクセスしてください: http://niit-master:8080
   

10. Spark 履歴サービスにアクセスしてください: http://niit-master:18080