大数据_Flink_Java版_数据处理_Watermark_特点和行为---Flink工作笔记0053

然后我们再来看这个waterMark,他怎么能保证数据,不乱序呢?

可以看到,这里我们就要知道waterMark是什么了?

可以看到waterMark是一条特殊的数据记录.实际上他就是个时间记录.

可以看到,上面方框是数据,下面的三角是数据携带的时间戳,然后2,是插入的waterMark.

这个插入的waterMark必须是单调递增的,因为waterMark是时间的数据,时间永远向前.

waterMark还要和时间戳一块用,因为,要保证,数据的顺序,那么waterMark一定要和实际的数据

的时间戳要关联起来,要按照实际数据的时间戳来设计waterMark对吧.

我们去看一下flink的java api中就有一个类,叫做Watermark对吧.

猜你喜欢

转载自blog.csdn.net/lidew521/article/details/123425396