どのような計算がexcutorを実行し、どのような事業者は、ドライバを実行しますか?
それは操作DSTREAMであるため、(1)、foreachRddドライバがノード上で実行されています。foreachPartitionとワーカーノードのforeach、それはRDD操作であるため、実行します。foreachRddは、時にオペレータのタスクの実装の初めの実行時間をタスクの開始を開きます。
(2)は、RDDワーカーノード上で動作するためのノード上で実行されるオペレーティングDSTREAMドライバ上で実行します。
(3)次のコードは、実行の終了時に、RDD SETに運転者がオンになります。
resultPlayListRdd.map{ _._1 }.collect.toSet
処理はメインメソッド、メソッド、二つの部分、作業者側に分割ドライバ端を実行するJVMの仮想マシンを処理RDD処理方法DSTREAMを分析するために実施した3つの部分に分けることができます。
、mainメソッド
主な方法は、もちろん、RDDアクションカリングの計算場合で、運転者の最後に実行され、コードを見
他の添加オペレータRDDコードのドライバ端で行われ、一度だけ実行されます
二、DSTREAMの処理方法
処理コードがある場合スパークにsparkStreamingは、DSTREAMを導入しました。
コードは処理RDD、他の上で実行される場合にのみ、労働者でDSTREAMアクションメソッドノード上で実行されているDSTREAMドライバ動作する計算が一度行われます、。またDstram計算コードの他の端にあり、ドライバは一度だけ行われます。
三、RDD処理方法
RDDオペレータに依存しないコードは、コンピューティングドライバ側に一度実行されます。RDDオペレータの閉鎖は、ワーカーが終了して行われます。