1.Time
FLINKストリーミングでは、異なる概念は時間が関与する
Event Time:
イベントが作成された時刻です。これは、一般的にイベントのタイムスタンプで記述され、例えば、各ログで取得したログデータは、その発生時刻を記録します。
Ingestion Time:
データ入力時のFLINK
Processing Time:
オペレータの処理時間。デフォルトの時間プロパティは、処理時間です。
我们来举个Time时间的例子↓↓↓
例:次のように今はロギングシステムでは、ログを生成します。
2020年2月11日15:15:06.218 INFOカーネル :NMIウォッチドッグ:BUG:ソフトロックアップ
のビジネスニーズのために、私たちは1分で、障害ログの数をカウントしたい場合は、時間が最も有意義である、その後3回の?答案显然是 EventTime,因为我们要根据日志的生成时间进行统计
2.Window
2.1ウィンドウの概念
ストリーミングストリーミングする処理のために設計された計算である无限数据集
データ処理エンジンを、データセットは無限に無制限に成長しているデータ・セットを指します。而 Window 是一种切割无限数据集为有限块进行处理的手段。
1. 没有 Window 操作之前
私たちは、データの処理は、次のとおりです。計算された一つです。
2 有了 Window 操作之后
、我々はウィンドウ操作、ウィンドウを分割して無制限のデータストリーム、有界データストリームとして一定期間のデータを使用することができ、その後、データストリームのこの部分を計算有界。
ウィンドウのコア無制限のデータ・ストリームが処理され、ウィンドウが制限されたサイズの中に無限のストリームストリームかもしれ"buckets"
バケツ、我々はこれらのバケットの計算処理を行うことができます。
2.2ウィンドウの分類
ウィンドウは2つのカテゴリに分けることができます。
1
CountWindow
:ウィンドウとして生成されたデータの個数は、時間に関係なく、指定された
2TimeWindow
時間により生成されたウィンドウ。TimeWindowため、ウィンドウは三つのカテゴリーを達成するために、異なる原理に従って分割することができます:
1.滚动窗口(Tumbling Window)
、2.滑动窗口(Sliding Window)
、3.会话窗口(Session Window)
2.2.1ローリング・ウィンドウ
コンセプト:
将数据依据固定的窗口长度,对数据进行切片
。一般的に、ウィンドウをスクロールするために使用、ウィンドウ内のデータが計算されます。