新しいアーキテクチャ上でのストリーミング火花を蒸し構造、非常にすぐにモードのサポートを処理し続け、マイクロバッチモードのサポートミリ秒の応答、GROUPBYマップフィルタflatMapサポート操作が場所を選択
sparkSQLをサポートし、データの抽象化は、データフレームとのDataSet SparkSQLできる唯一のハンドルがあります静的データ
ストリーミングスパークはDSTREAMのある
重要なリアルタイム・データ・ストリームをストリーミング構造無制限のテーブルと見られて常に追加され、スパークは、増分データの一括計算し、計算を追加していき
、すべてのシステム、無制限テーブル結果テーブルに入力するために、クエリの生成を時間から時間に無限のテーブルの計算をトリガーすると、結果テーブルを更新し
、デフォルトではマイクロバッチモードでマイクロバッチに若干の遅れがある前にあるため、定期的に、問い合わせのバッチ番号の終了後に新たな契約に到達するために、ソース・データ・ストリームをチェックします一度だけ処理されたデータを確実にするために、同様に処理したときのダウンタイムの恐れが生じている最初の先行書き込みログに書き込まれたデータ処理を相殺するために、
連続処理モードを、高い応答率を満たすために、そのような銀行カード詐欺の海賊として需要のシナリオブラシ、spark2.3.0以降のバージョンでは、このモードをサポート フリップフロップは、周期的プロセスではありません、それがシーケンシャルライトのシリーズを開始し、入力ストリームに書き込まれた長時間実行されるタスクの処理読み取る,,プラスの数字、一連のデータの各期間は、オフセット非同期書き込みは、書き込み先行ログ、書き込まれるように待つことなく、コストが唯一の少なくとも一つの一貫性は一度だけの治療を保証するものではありませんが、一度データは、少なくとも処理されることのみ保証されて達成され、
