図1に示すように、スパークステートレス、ステートフルFLINK
私たちは、セグメント化プロセスとみなすことができるRDDを、処理するためのオペレータのRDDとしてそれを見ることができるようにスパーク自体は、ステートレスです。
しかしFLINKはある状態でのアプリケーションのクラスであるイベント駆動型アプリケーション、それが窓に来るとき、我々は、に対処するための一つのイベント記録としてそれを取るウィンドウの重合操作はステートレスであるために待っているブロックされます。ウィンドウデータストリームの後、オペレータは、操作を凝集FLINKは、操作が窓の前に置かれ、あなたが集計操作ステートレスを行うことができます集約する必要がありますので、動作状態です。ここで、重合全体スパークがステートレスであり、それがあってもよいです。
2、ウィンドウの概念
ウィンドウの無限ストリームは、我々はこれらのバケットに計算処理を行うことができ、有限の大きさ「バケット」バレルに分割されます。ウィンドウは、データ演算子である場合には、ウィンドウは、データ演算を行わなかったときに実行されます。
3、透かしのコンセプト
各イベントは、イベント時刻が付属しています。透かしは、長時間の遅延-すべての着信データmaxEventTimeの電流に等しいです。データは現在、トリガー・ウィンドウではありません停止時刻より後に透かしを実施したら、それは対応するウィンドウの実行をトリガします。
