FLINKは、データ処理解析をスクランブル

免責事項:この記事はブロガーオリジナル記事です、続くBY-SAのCC 4.0を著作権契約、複製、元のソースのリンクと、この文を添付してください。
このリンク: https://blog.csdn.net/qq_40713537/article/details/102755370

ソース・フロー・データ・ストリーム等によるネットワーク遅延に、オペレータ、スクランブルを生じる(ここで、スクランブルシーケンスは、処理のためにイベント発生イベント時刻到着処理機構の時間と同じではない)、単語カフカの特に使用、データソースの後に複数のパーティションが秩序を保証することはできません。このような(前の時間のトラフィック)のような時間を伴う場合したがって、時間窓計算中に、演算結果の相対精度を確実にするメカニズムが存在しなければなりません。イベントと比較的一貫した動作時間を確保するためのいくつかのメカニズムの使用についてFLINK。

1.warterMark

イベント時刻、唯一のウィンドウ操作を追加することなく、FLINKリアルタイムで最大のプレイでしたが、同じ時間では、結果は限りデータが時間窓window_end_timeの最後に到達するようになってきたとして、それはすぐにトリガする、非常に正確ではありませんウィンドウは、受信したデータに故障している、このウィンドウ内のデータはほとんどのの損失になります

Warterトリガ遅延時間は、それが想定され、ウィンドウ操作を定義するために使用されるウィンドウ00その:00〜00:05、warter次いで1分、延長後方に1分間の窓に対応する受信時刻データ、操作NATURALまた、これらのデータ時間1分の遅れ。これは、時間は実際の達成と同じ時間をwindow_end_time wartermarkまで、それは窓をトリガー、画像、とき実際にwarterMark後方1分を理解することです。

2.allowedLateness

warterarkを追加した後、大部分のデータの精度を確保することではなく、低遅延特性FLINKフレームワークは、リアルタイム性を確保するために助長されていませんが高すぎる設定されているので、時間のwarterMarkが、あまりにも長く設定することはできません。したがって、我々は一般的に小さいがwarterに設定だけでなく、大部分のデータが計算されることを保証します。その後、残りの部分は、このイベント内に到着していないデータの数が少ないままですが、私たちはwarterMark以内にこの時間を受け取っていない、allowedLatenessはwarterデータの後に短時間で+透かしをwindow_end_timeするwindow_end_time +透かしで計算することができるようにすることです+ allowedLatenessデータは、このウィンドウに属し、そして限り、他のデータのウィンドウであるように、従って、短期の計算結果を更新することを確実に1回だけ計算されます。

3.OutputLateData

window_end_time + watermarkallowedLateness後のデータの非常に少量の、処理前積極的に組み込まれていない計算し、計算結果にOutputLateData配置されます。

以下は、ちょうど醜い図を引き出すのに長い時間を費やしています。

 

 

おすすめ

転載: blog.csdn.net/qq_40713537/article/details/102755370