flink学习笔记-flink中的三种time

• 针对stream数据中的时间，可以分为以下三种
  • Event Time：事件产生的时间，它通常由事件中的时间戳描述。
  • Ingestion time：事件进入Flink的时间
  • Processing Time：事件被处理时当前系统的时间
    
• EventTime
  • 1.事件生成时的时间，在进入Flink之前就已经存在，可以从event的字段中抽取。
  • 2.必须指定watermarks（水位线）的生成方式。
  • 3.优势：确定性，乱序、延时、或者数据重放等情况，都能给出正确的结果
  • 4.弱点：处理无序事件时性能和延迟受到影响
• IngestionTime
  • 1.事件进入flink的时间，即在source里获取的当前系统的时间，后续操作统一使用该时间。
  • 2.不需要指定watermarks的生成方式(自动生成)
  • 3.弱点：不能处理无序事件和延迟数据
• ProcessingTime
  • 1.执行操作的机器的当前系统时间(每个算子都不一样)
  • 2.不需要流和机器之间的协调
  • 3.优势：最佳的性能和最低的延迟
  • 4.弱点：不确定性 ，容易受到各种因素影像(event产生的速度、到达flink的速度、在算子之间传输速度等)，压根就不管顺序和延迟
• 三种时间的综合比较
  • 性能： ProcessingTime> IngestTime> EventTime
  • 延迟： ProcessingTime< IngestTime< EventTime
  • 确定性： EventTime> IngestTime> ProcessingTime
• 如何设置time类型
  • 在我们创建StreamExecutionEnvironment的时候可以设置time类型，不设置time类型，默认是processingTime，如果设置time类型为eventTime，那么必须要在我们的source之后明确指定Timestamp Assigner & Watermark Generator