糸での実行時に例外をスローする方法をスパーク

糸の方法で実行しているときに火花が例外をスローします。

cluster.YarnClientSchedulerBackend：糸アプリケーションが既に終了状態で終了しました！

ソリューション：

主に以下の記憶ノードを割り当てるために、糸は、スパークアプリケーションを殺します。

1.クラスタのHadoopを停止します

[ルート@ node06ビン]＃のstop-all.sh

2.糸-site.xmlのに割り当てを増やします：

<プロパティ> 
    <名前> yarn.nodemanager.pmem-チェックが有効になって</名前> 
    <値> 偽 </ value>の
</ property>の
<プロパティ> 
    <名前> yarn.nodemanager.vmem-チェックが有効になって</名前> 
    <value>は偽 </ value>の
    かどうか<説明> 仮想メモリの制限を適用するためのコンテナ</記述> 
</ property>の
<プロパティ> 
    <名前> yarn.nodemanager.vmem-PMEM比</名前> 
    <値> 4 </ value>の
    <説明>間の比率仮想物理メモリへのメモリメモリ制限設定のための容器を</説明> 
</プロパティを>

3.マスターLに変化し、各ノードスレーブに被覆糸site.xmファイル

[ルート@のnode06のHadoopの]＃SCP yarn- site.xmlのnode07： `pwd`は
糸 -site.xml                                                                                                               100％1565年     1 0.5キロバイト/ sの    00：00     
[ルート@のnode06用のHadoop]＃のSCP糸 - site.xmlのnode08：` pwd`は
糸 -site.xml                                                                                                               100％1565年     1つの 0.5キロバイト/ sの    00：00     
[ルート@のnode06用のHadoop]＃のSCP糸 -site.xml node09： `pwd`は

 

4.クラスタのHadoopを再起動します。

[node06のHadoop @ルート]＃start-all.sh

5.糸を刺激するタスクを再提出

[ルート@のnode06ビン]＃./spark-submit --master糸- クラス org.apache.spark.examples.SparkPiは../lib/spark-examples- 1.6。0 -hadoop2。6.0の.jar 100