Flink EventTime事件时间 Watermark水位线 注意点
一、前言
发现CSDN有个奇怪的现象，很多人喜欢不停的给别人博客留言，内容无非是
“写的不错，加油，欢迎回踩”
“写的太棒了，反手一个赞”
后来发现他们会一天之内给很多人博客留言，留言内容差不多。
再看他们博客访问量，都是非常高的几十万，但是他们博客质量和访问量不匹配。
我想说，写博客是分享，但更重要是自己的积累，写给自己看，何必追求访问量呢?
===============================================================
Flink中窗口、事件时间、水位线都是很重要的概念，网上介绍他们的博客非常多。
我就没有必要像写八股文那样再写一遍。
窗口、事件时间、水位线这3个东西放在一起，他们其实解决一个问题，那就是
窗口在什么时候关闭，并触发计算？
下面就扯一扯关于这个问题的注意点。
二、事件时间
1. 时间一定是精确到毫秒
在数据流中，表示事件时间的格式多种多样。
可能是精确到秒的yyyy-MM-dd HH:mm:ss或者长整型如1611076383。
但是Flink中的时间一定到精确到毫秒。
在分配时间戳和水位线调用assignTimestampsAndWatermarks的时候，一定要注意extractTimestamp的返回值是long，是要精确到毫秒。
2. 注意时区问题，我们在东八区
时间戳是从1970年1月1日0时0分0秒开始的，但是它是指的伦敦时间。我们中国常用的时间是东八区时间。
就是我们这边的时间和伦敦时间差8个小时。
我们获取数据流中的时间通常是东八区的时间，但如果Flink划分窗口是按照一天划分窗口，按照伦敦时间划分，那么这个时间窗口是有问题的。
所以对于这个时间在读取数据源时，对时间处理下，或者Flink有这个设置时区的功能话就设置下。
3. 时间窗口是左闭右开
时间窗口是有开始时间、结束时间的。
例如一个窗口是10:00:00 到10:10:00，窗口长度是10分钟。
但是事件时间是10:10:00整的数据，不属于这个窗口。
本窗口的最大时间戳 = 结束时间 - 1ms，窗口是左闭右开的。
4. 时间窗口的开始时间如何计算？
时间窗口的开始时间如何计算？
例如一个事件时间窗口长度是10分钟。
此时10:05:00的事件时间数据来了，Flink如何划分窗口呢？计算公式如下：
start = timestamp - (timestamp - offset + windowSize) %windowSize
offset偏移量默认为0。
(10:05 - 0 + 10分钟) %10分钟 = 5分钟，因为一个小时都是10分钟的整数倍
10:05 - 5分钟 = 10:00，说明窗口是从10:00开始，到10:10结束。
5. Flin1.12开始，默认时间特性是事件时间
Flin1.12开始，默认时间特性是事件时间。
你会发现下面的语句提示已经过时了。
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
用新的时间窗口分配器来指定用的是事件时间还是处理时间
.window(TumblingProcessingTimeWindows.of(Time.seconds(5)))
.window(TumblingEventTimeWindows.of(Time.seconds(30)))
三、水位线
1. 水位线的特点
- 水位线是用来解决数据乱序问题，本身是一个特殊的时间戳
- 水位线单调递增的，Flink认为事件时间早于水位线的数据都来了
2. 水位线控制窗口何时结束
当前的watermark >= 窗口的最大时间戳时，窗口关闭。
在之前的博客Flink教程(7)时间特性、窗口、Watermark代码实践有水位线的图解。