FLINKノート(XIII):FLINK時間でウィンドウとプレゼンテーション

1.Time

  FLINKストリーミングでは、異なる概念は時間が関与する
ここに画像を挿入説明
Event Time:イベントが作成された時刻です。これは、一般的にイベントのタイムスタンプで記述され、例えば、各ログで取得したログデータは、その発生時刻を記録します。

Ingestion Time:データ入力時のFLINK

Processing Time:オペレータの処理時間。デフォルトの時間プロパティは、処理時間です。


我们来举个Time时间的例子↓↓↓

例:次のように今はロギングシステムでは、ログを生成します。

2020年2月11日15:15:06.218 INFOカーネル :NMIウォッチドッグ:BUG:ソフトロックアップ
ここに画像を挿入説明
      のビジネスニーズのために、私たちは1分で、障害ログの数をカウントしたい場合は、時間が最も有意義である、その後3回の?       答案显然是 EventTime,因为我们要根据日志的生成时间进行统计


2.Window

2.1ウィンドウの概念

      ストリーミングストリーミングする処理のために設計された計算である无限数据集データ処理エンジンを、データセットは無限に無制限に成長しているデータ・セットを指します。而 Window 是一种切割无限数据集为有限块进行处理的手段。

      1. 没有 Window 操作之前私たちは、データの処理は、次のとおりです。計算された一つです。
      2 有了 Window 操作之后、我々はウィンドウ操作、ウィンドウを分割して無制限のデータストリーム、有界データストリームとして一定期間のデータを使用することができ、その後、データストリームのこの部分を計算有界。

      ウィンドウのコア無制限のデータ・ストリームが処理され、ウィンドウが制限されたサイズの中に無限のストリームストリームかもしれ"buckets"バケツ、我々はこれらのバケットの計算処理を行うことができます。

2.2ウィンドウの分類

ウィンドウは2つのカテゴリに分けることができます。

1 CountWindow:ウィンドウとして生成されたデータの個数は、時間に関係なく、指定された


2 TimeWindow時間により生成されたウィンドウ。

TimeWindowため、ウィンドウは三つのカテゴリーを達成するために、異なる原理に従って分割することができます:1.滚动窗口(Tumbling Window)2.滑动窗口(Sliding Window)3.会话窗口(Session Window)

2.2.1ローリング・ウィンドウ

コンセプト:
       将数据依据固定的窗口长度,对数据进行切片一般的に、ウィンドウをスクロールするために使用、ウィンドウ内のデータが計算されます。

2.2.2スライディングウィンドウ

2.2.3セッションウィンドウ

公開された252元の記事 ウォン称賛45 ビュー50000 +

おすすめ

転載: blog.csdn.net/lzb348110175/article/details/104263221