spark--StructuredStreaming原理

数据抽象/API

• 使用DataFrame和DataSet来统一离线和实时API
• 也就是说StructuredStreaming做实时处理和SparkSQL做离线处理的API一样都是DataFrame和DataSet
  
• 注意:执行环境的创建按照如下规则
  • SparkContext?–RDD
  • SparkSession?–DataFrame/DataSet
  • StreamingContext?–DStream

执行原理

• 在Spark2.3之前StructuredStreaming的实时流处理底层用的也是微批处理
• 在Spark2.3的时候StructuredStreaming推出了连续处理,也就是低延时处理,但是不够成熟
• 底层原理就是一个无界表