次のようにプロセスファイルへ順にSparkSQLデフォルトのパーティション200は、小型の賠償の配分と合体を使用することにしましたので、
(A)df_1.coalesce(1).createOrReplaceTempView( " table_tmp")は
、エラーであることが判明しました。。
Job aborted due to stage failure: Task 1 in stage 8.0 failed 4 times, most recent failure: Lost task 1.3 in stage 8.0 (TID 642, svldl061.csvw.com, executor 8): org.apache.spark.SparkException: Task failed while writing rows.
実装プロセスをチェックし
、特定の理由を検討するために??
(B)df_1.repartition(1).createOrReplaceTempView( " table_tmp")
の成功を実行しています!!!
ビューの実行(および上記とほぼ同じですが、あまり合体この重要なステップ!!!)
の違いは、唯一つのパーティション、再分割第8のステップ200のパーティションその合体第8のステップです。