sparksql和sparkcore/spark streaming/Structured streaming 的选用总结

sparksql和sparkcore/spark streaming/Structured streaming 的选用总结
一句话概括:
离线可以用:sparkcore、sparksql
实时可以用:sparksql、spark streaming
实时涉及到窗口统计:spark streaming Structured streaming

其实,感觉Structured streaming就是在sparksql里面多加了窗口函数,比如sparksql通过kafka获取数据,sparksql和Structured 代码最大的差别就是多了withWatermark 和window函数。

猜你喜欢

转载自blog.csdn.net/weixin_44704605/article/details/116936834
今日推荐