Apacheのスパーク統合糸のエラーやログソリューションを表示することはできません

統合糸のエラーやログソリューションを表示することはできません

最初のステップ：糸のsite.xmlの変更のHadoop

vim /export/servers/hadoop/etc/hadoop/yarn-site.xml

       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
<!-- 关闭YARN内存检查 -->
	<property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                 <value>false</value>
        </property>
        <property>
                    <name>yarn.nodemanager.vmem-check-enabled</name>
                    <value>false</value>
        </property>
	<!-- 如果开启如下配置则需要开启Spark历史服务器
	<property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://node01:19888/jobhistory/logs</value>
        </property>
	-->

ステップ2：各ノードに設定ファイルを配布します

第三段階：Hadoopのサービスを再起動します

/export/servers/hadoop/sbin/stop-dfs.sh
/export/servers/hadoop/sbin/stop-yarn.sh
/export/servers/hadoop/sbin/start-dfs.sh
/export/servers/hadoop/sbin/start-yarn.sh

糸サーバ統合の歴史とサーバースパークの歴史

1.電源を入れYARN履歴サーバの設定と開始

/export/servers/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

2.スパークログサーバを設定する[次の章を参照]

3.変更スパークdefaults.confに

vim /export/servers/spark/conf/spark-defaults.conf

spark.yarn.historyServer.address node01:4000

4. [スタート]スパークHistoryServerサービス

/export/servers/spark/sbin/start-history-server.sh

5.より多くの依存ジャーパッケージは、HDFSにアップロードされ、糸をフェッチするように指示することができた場合

スパークは、default.conf内に配置されました

spark.yarn.jars = hdfs://node01:8020/sparkjars/*

あなたが設定した後、HDFSに行くだろう、各ノードがダウンロードされ、キャッシュされた
一方、configureスパークプログラムは、パッケージSpark_HOMEの配布を開始しますない場合は、各ノードを

スパーク履歴ログサーバの設定

デフォルトでは、スパークプログラムが完成し稼働を持って、ウィンドウを閉じるには、Web UI（4040）のログを見ることができない、と我々はまだすることができ、プログラムの最後に実行することができるようHistoryServerして、ログファイルを読み込むことで、サービスを提供することができます動作中の表示

ファイル名を変更します。1.

cd /export/servers/spark/conf
cp spark-defaults.conf.template spark-defaults.conf

設定を変更する2。

vim spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://node01:8020/sparklog

3.注：手動でHDFSを作成する必要が上のディレクトリ

hadoop fs -mkdir -p /sparklog

4. [変更spark-env.sh

spark-env.sh VIM
輸出SPARK_HISTORY_OPTSを= " - Dspark.history.ui.port = 4000 -Dspark.history.retainedApplications = 3 -Dspark.history.fs.logDirectory = HDFS：// node01：8020 / sparklog"

5.ファイルを同期

SCP -r /エクスポート/サーバ/火花/ confに/ @とnode02：/エクスポート/サーバ/火花/ confに/
SCP -r /エクスポート/サーバ/火花/ confに/ @ node03の：/エクスポート/サーバ/火花/ confに/

6.再起動し、クラスタ

/export/servers/spark/sbin/stop-all.sh
/export/servers/spark/sbin/start-all.sh 

7.マスターのスタートログサーバ

/export/servers/spark/sbin/start-history-server.sh

8.ビュー4000における履歴ログポート（負荷がブラウザを変更しようとして出てこない場合）

http://node01:4000/

9.あなたがHadoopのHDFSの質問への書き込みアクセス権を持っている場合：

org.apache.hadoop.security.AccessControlException
解決策：次の設定HDFS-site.xmlの、閉鎖権限の検証を追加します。

<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>