SparkSQLパーティションのOutOfMemory

次のようにプロセスファイルへ順にSparkSQLデフォルトのパーティション200は、小型の賠償の配分と合体を使用することにしましたので、

(A)df_1.coalesce(1).createOrReplaceTempView( " table_tmp")は
、エラーであることが判明しました。

Job aborted due to stage failure: Task 1 in stage 8.0 failed 4 times, most recent failure: Lost task 1.3 in stage 8.0 (TID 642, svldl061.csvw.com, executor 8): org.apache.spark.SparkException: Task failed while writing rows.

実装プロセスをチェックし
ここに画像を挿入説明
、特定の理由を検討するために?
(B)df_1.repartition(1).createOrReplaceTempView( " table_tmp")
の成功を実行しています!
ビューの実行(および上記とほぼ同じですが、あまり合体この重要なステップ!!!)
ここに画像を挿入説明
ここに画像を挿入説明
の違いは、唯一つのパーティション、再分割第8のステップ200のパーティションその合体第8のステップです。

公開された118元の記事 ウォン称賛25 ビュー15万+

おすすめ

転載: blog.csdn.net/lhxsir/article/details/103720096