記事のディレクトリ
分類
- 変換:
概念
一連の操作を通じてRDDを別のRDDに変換するプロセス。この操作は、単純な加算および減算操作、あるいは特定の関数または特定の一連の関数の場合があります。
注意:
- すべての変換関数はレイジー(レイジー)であり、すぐには実行されません。トリガーするにはアクション関数が必要です
- 変換関数には、map、filter、reducebykeyおよびその他の関数が含まれます。
- 変換操作は実際の計算をトリガーせず、RDDの関係図のみが確立されます
- アクション(アクション)の
概念
アクション操作は、順次計算の終了を表します。戻り値はRDDではなく、結果はドライバープログラムに返されるか、外部(ファイルまたはフォルダー)に出力されます。
注意:
- reduce、saveAsTextFile、countなどのすべてのアクション関数はすぐに実行されます(Eager)。
- したがって、Transformationは計算関係を確立するだけであり、Actionが実際の実行者です。
- 各アクション操作は、SparkCoutextのrunJobメソッドを呼び出してクラスターに要求を送信するDAGを形成するため、各アクション操作はDAG /ジョブに対応します。