差分スパークマップ()とmapPartition()の

  • 地図():プロセスごとのデータ

  • mapPartition():たびに、データ処理のパーティション、パーティション後のデータ処理は、データパーティションは、OOMにつながる可能性があり、オリジナルのRDDを解放します

    場合提案利用mapPartition()は、処理効率を向上させるために、より大きなメモリ空間

おすすめ

転載: www.cnblogs.com/xiangyuguan/p/11455869.html