DSTREAMの操作に関連するスパークノート

そしてRDD DSTREAMに同様の操作、分割変換(変換)と出力動作(出力)、加えて、スイッチング動作でのような特別な操作の数があります。updateStateByKey()は、(変換)と関連するすべてのウィンドウ操作。

DStreamsの4.1変換の
DSTREAMの操作に関連するスパークノート
特別な変換

(1)UpdateStateByKey動作

UpdateStateByKeyは歴史を記録するために、最後の状態を保存しました

(2)画面での操作(窓関数)を

スライディングウィンドウの切り替え動作:

ウィンドウ演算変換動作を摺動する以下に示すように、我々は、スライディングウィンドウの長さ(ウィンドウのすなわち継続時間)と時間間隔(頻度計算を実行する)を設定スライディングウィンドウ予め設定することができ、そして、あなたがソースDSTREAM指定された時間間隔でのウィンドウのスライドをさせることができ、各ウィンドウ駐車位置は、窓枠に部分DSTREAM、小片DSTREAMの形成、時間があるでしょう、あなたは、このサブパラグラフのDSTREAMを開始することができます計算。
DSTREAMの操作に関連するスパークノート
(1)赤い矩形ウィンドウは、ウィンドウは、時間の期間内にデータフローを囲まれています。

(2)時間単位が正式すべてのウィンドウサイズは3時間単位であり、時間のすべての2台、窓スライドの例であり、毎回。

そのため、2つのパラメータを指定するには、操作画面に基づきます:

・ウィンドウの長さ - ウィンドウの期間(図3)

・スライド間隔 - ウィンドウベースの動作が実行される間隔(図2)。  

。ウィンドウサイズ、時間をかけてコンテナのデータ。

B。スライド間隔を計算し、どのくらいの頻度。

DStreams 4.2出力の操作

出力操作DSTREAMは、出力操作が呼び出される外部データベースやファイルシステムへの出力データ、(アクションのRDDと同じ)、スパークストリーミングプログラムは、実際の計算を開始しますすることができます。
----------------
DSTREAMの操作に関連するスパークノート

おすすめ

転載: blog.51cto.com/14473726/2439140