7.8 Structured Streaming

一、Spark流计算组件的演进

 

 

 

二、Structured Streaming的基本原理

  Structured Streaming将数据建模成一个结构化的数据表DataFrame,后到达的数据就是一条一条的记录不断往里追加。

三、为什么设计Structured Streaming

1.重新抽象了流失计算(基于DataFrame的数据抽象)

2.易于实现数据的exactly-once(保证数据至少处理一次,而且只处理一次)

扫描二维码关注公众号,回复: 8189992 查看本文章

参考文献:

【1】https://www.icourse163.org/learn/XMU-1205811805?tid=1206617233&from=study#/learn/content?type=detail&id=1211383874&sm=1

猜你喜欢

转载自www.cnblogs.com/nxf-rabbit75/p/12041067.html