スパーク学習記録-2

スパークプログラミングモデル

======

どのように仕事を刺激するには?

図1は、ユーザ・アプリケーションは、操作アクションを実行して、RDD、変形操作を生成します

図2に示すように、操作有向非巡回グラフDAGの結果、

図3に示すように、DAGは段ステージにコンパイルされ

図4に示すように、各ステージは、タスク(パーティションブロックに対応するタスク)の一部として実行されます

========

狭い変換和広い変換

1、狭い変換、 

マップ()フィルタ()

2、広い変換

groupByKey()

reduceByKey()

=============

 

おすすめ

転載: www.cnblogs.com/li-daphne/p/11871801.html