XXXX:XXXX / XX.XX.XX.XXへの接続に失敗しました:タッチスパークモデルはexcutors異常org.apache.spark.shuffle.FetchFailedExceptionを実行します接続できません

エラー:org.apache.spark.shuffle.FetchFailedExceptionは:XXXX:XXXX / XX.XX.XX.XXへの接続に失敗しました

ファイアウォールとは無関係の対象とするターゲット。繰り返しログを表示します。

2019年9月30日11:00:46521 | WARN | [ディスパッチャ・イベント・ループ-50] | ExecutorLostFailure(エグゼキュータ7は、実行中のタスクのいずれかによって引き起こさ終了)理由:コンテナは、メモリの制限を超えたため糸によって殺さステージ1.2タスク5.0(TID 24441、dggsafe0321-CM、エグゼキュータ7)を失いました。使用4.5ギガバイトの物理メモリの4.6ギガバイト spark.yarn.executor.memoryOverheadを高める考えてみましょう| org.apache.spark.internal.Logging $ class.logWarning(Logging.scala:66)
2019年9月30日11:00:46521 | INFO | [ダグ・スケジューラ・イベント・ループ] | 再提出ShuffleMapTask(6、25830)、これはまだ実行されているとして、それをマークします| org.apache.spark.internal.Logging $ class.logInfo(Logging.scala:54)
2019年9月30日11:00:46522 | WARN | [ディスパッチャ・イベント・ループ-50] | ExecutorLostFailure(エグゼキュータ7は、実行中のタスクのいずれかによって引き起こさ終了)理由:段階1.2タスク4.0(TID 24440、dggsafe0321-CM、エグゼキュータ7)失われたコンテナは、メモリの制限を超えたため糸によって殺されています。使用4.5ギガバイトの物理メモリの4.6ギガバイト spark.yarn.executor.memoryOverheadを高める考えてみましょう。| org.apache.spark.internal.Logging $ class.logWarning(Logging.scala:66)
2019年9月30日11:00:46522 | INFO | [ダグ・スケジューラ・イベント・ループ] | 再提出ShuffleMapTask(6、15603)、これはまだ実行されているとして、それをマークします| org.apache.spark.internal.Logging $ class.logInfo(Logging.scala:54)

ノードのメモリ・オーバーフローが見つかり、死亡休日につながる、ノードにその結果は、ライン上の拡張メモリ対応する実行再起動をアクセスすることはできません。

--driver・メモリ4Gの--executorメモリ6グラム 

 

おすすめ

転載: www.cnblogs.com/shaozhiqi/p/11613687.html