excutorを実行しているどのようなスパーク計算、どのような事業者は、ドライバを実行しますか?

どのような計算がexcutorを実行し、どのような事業者は、ドライバを実行しますか?


それは操作DSTREAMであるため、(1)、foreachRddドライバがノード上で実行されています。foreachPartitionとワーカーノードのforeach、それはRDD操作であるため、実行します。foreachRddは、時にオペレータのタスクの実装の初めの実行時間をタスクの開始を開きます。
(2)は、RDDワーカーノード上で動作するためのノード上で実行されるオペレーティングDSTREAMドライバ上で実行します。

(3)次のコードは、実行の終了時に、RDD SETに運転者がオンになります。

resultPlayListRdd.map{ _._1 }.collect.toSet

処理はメインメソッド、メソッド、二つの部分、作業者側に分割ドライバ端を実行するJVMの仮想マシンを処理RDD処理方法DSTREAMを分析するために実施した3つの部分に分けることができます。

、mainメソッド

主な方法は、もちろん、RDDアクションカリングの計算場合で、運転者の最後に実行され、コードを見

  他の添加オペレータRDDコードのドライバ端で行われ、一度だけ実行されます

二、DSTREAMの処理方法

処理コードがある場合スパークにsparkStreamingは、DSTREAMを導入しました。

        コードは処理RDD、他の上で実行される場合にのみ、労働者でDSTREAMアクションメソッドノード上で実行されているDSTREAMドライバ動作する計算が一度行われます、。またDstram計算コードの他の端にあり、ドライバは一度だけ行われます。

三、RDD処理方法

RDDオペレータに依存しないコードは、コンピューティングドライバ側に一度実行されます。RDDオペレータの閉鎖は、ワーカーが終了して行われます。

 

 

 

 

 

公開された159元の記事 ウォン称賛75 ビュー190 000 +

おすすめ

転載: blog.csdn.net/xuehuagongzi000/article/details/102903264