Spark On Yarn 環境導入テスト(疑似ディストリビューションを使用)
1. 前提となる作業
- Hadoop擬似ディストリビューションがインストールされている場合は、Hadoop2.7.3環境構築擬似ディストリビューションを参照してください。
- Spark疑似ディストリビューションのインストールについては、Spark Standalone スタンドアロンモードの環境構築を参照してください。
2. Spark On Yarnを構成する
-
yarn-site.xmlを変更し、次の情報を追加します。
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true --> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
-
Spark の履歴サービスのログ ディレクトリを HDFS に再割り当てします。
1) HDFS に Spark 履歴サービスのログ ディレクトリを作成し、次を実行します。
hdfs dfs -mkdir -p /training/spark-2.4.8-bin-hadoop2.7/history
-
Spark-env.sh を次の内容に変更します。
export JAVA_HOME=/training/jdk1.8.0_171 # 改成你自己的主机名称 export SPARK_MASTER_HOST=niit-master export SPARK_MASTER_PORT=7077 #history 配置历史服务 export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://niit-master:9000/training/spark-2.4.8-bin-hadoop2.7/history" # yarn YARN_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop
知らせ:
spark.history.fs.logDirectory路径改成hdfs上的路径,即hdfs://niit-master:9000/training/spark-2.4.8-bin-hadoop2.7/history
-
Spark-defaults.conf を次の内容に変更します。
spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop001:9000/training/spark-2.4.8-bin-hadoop2.7/history
知らせ:
spark.eventLog.dir路径改成HDFS上的history路径,即hdfs://hadoop001:9000/training/spark-2.4.8-bin-hadoop2.7/history
-
Hadoop クラスターを再起動します (以前に Spark が開始されている場合は、Spark を開始する必要はありません)
1) まず、Hadoop が開始されているかどうかを確認します。開始されている場合は、最初に停止してから実行する必要があります:stop-all.sh
2) Hadoop を再起動または開始し、実行します:start-all.sh
-
Spark 履歴サービスを開始します (すでに Spark を開始している場合は、Spark を開始する必要はありません)。Spark
インストール ディレクトリに移動し、Spark 履歴サービスを開始して、次のコマンドを実行します。sbin/start-history-server.sh
3. Spark Pi ケースを実行する
-
Spark インストール ディレクトリに入り、次のコマンドを実行してプログラムを Spark クラスターに送信します。
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.4.8.jar 100
-
実験結果 1 を確認してください。YARN Web 管理インターフェイスで Spark プログラムを確認できます。
-
実験結果 2 の表示: Spark の履歴サービス Web インターフェイスに次の情報が表示されます。
Spark On Yarn 環境導入テスト(疑似ディストリビューションを使用)
1. 前提となる作業
- Hadoop擬似ディストリビューションがインストールされている場合は、Hadoop2.7.3環境構築擬似ディストリビューションを参照してください。
- Spark疑似ディストリビューションのインストールについては、Spark Standalone スタンドアロンモードの環境構築を参照してください。
2. Spark On Yarnを構成する
-
yarn-site.xmlを変更し、次の情報を追加します。
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true --> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
-
Spark の履歴サービスのログ ディレクトリを HDFS に再割り当てします。
1) HDFS に Spark 履歴サービスのログ ディレクトリを作成し、次を実行します。
hdfs dfs -mkdir -p /training/spark-2.4.8-bin-hadoop2.7/history
-
Spark-env.sh を次の内容に変更します。
export JAVA_HOME=/training/jdk1.8.0_171 # 改成你自己的主机名称 export SPARK_MASTER_HOST=niit-master export SPARK_MASTER_PORT=7077 #history 配置历史服务 export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://niit-master:9000/training/spark-2.4.8-bin-hadoop2.7/history" # yarn YARN_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop
知らせ:
spark.history.fs.logDirectory路径改成hdfs上的路径,即hdfs://niit-master:9000/training/spark-2.4.8-bin-hadoop2.7/history
-
Spark-defaults.conf を次の内容に変更します。
spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop001:9000/training/spark-2.4.8-bin-hadoop2.7/history
知らせ:
spark.eventLog.dir路径改成HDFS上的history路径,即hdfs://hadoop001:9000/training/spark-2.4.8-bin-hadoop2.7/history
-
Hadoop クラスターを再起動します (以前に Spark が開始されている場合は、Spark を開始する必要はありません)
1) まず、Hadoop が開始されているかどうかを確認します。開始されている場合は、最初に停止してから実行する必要があります:stop-all.sh
2) Hadoop を再起動または開始し、実行します:start-all.sh
-
Spark 履歴サービスを開始します (すでに Spark を開始している場合は、Spark を開始する必要はありません)。Spark
インストール ディレクトリに移動し、Spark 履歴サービスを開始して、次のコマンドを実行します。sbin/start-history-server.sh
3. Spark Pi ケースを実行する
-
Spark インストール ディレクトリに入り、次のコマンドを実行してプログラムを Spark クラスターに送信します。
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.4.8.jar 100
-
実験結果 1 を確認してください。YARN Web 管理インターフェイスで Spark プログラムを確認できます。
-
実験結果 2 の表示: Spark の履歴サービス Web インターフェイスに次の情報が表示されます。