SparkのRDD基本操作分類

記事のディレクトリ


分類

  • 変換:
    概念
    一連の操作を通じてRDDを別のRDDに変換するプロセス。この操作は、単純な加算および減算操作、あるいは特定の関数または特定の一連の関数の場合があります。

注意:

  1. すべての変換関数はレイジー(レイジー)であり、すぐには実行されません。トリガーするにはアクション関数が必要です
  2. 変換関数には、map、filter、reducebykeyおよびその他の関数が含まれます。
  3. 変換操作は実際の計算をトリガーせず、RDDの関係図のみが確立されます
  • アクション(アクション)の
    概念
    アクション操作は、順次計算の終了を表します。戻り値はRDDではなく、結果はドライバープログラムに返されるか、外部(ファイルまたはフォルダー)に出力されます。

注意:

  1. reduce、saveAsTextFile、countなどのすべてのアクション関数はすぐに実行されます(Eager)。
  2. したがって、Transformationは計算関係を確立するだけであり、Actionが実際の実行者です。
  3. 各アクション操作は、SparkCoutextのrunJobメソッドを呼び出してクラスターに要求を送信するDAGを形成するため、各アクション操作はDAG /ジョブに対応します。

おすすめ

転載: blog.csdn.net/zh2475855601/article/details/115089969
おすすめ