spark streaming流计算

现在主要有三类流计算框架平台
商业级的流计算平台 IBM InfoSphere Streams和IBM StreamBase
开源流计算框架 Storm twitter在用 和Yahoo! S4
公司为支持自身业务开发的流计算框架百度Dstream 淘宝银河流计算平台 facebook Puma
流计算更注重时效性
数据实时采集工具有hadoop的Flume 和Chukwa
Sparksteaming是微批处理,实现秒级响应,比Storm毫秒级响应慢,但Storm无法进行批处理
SparkCore就是之前博客中的Spark 数据抽象是RDD
SparkSQL就是SparkSession代表的数据抽象是DataFrame
SparkStreaming 数据抽象是DStream 基于RDD队列流

发布了25 篇原创文章 · 获赞 0 · 访问量 377

猜你喜欢

转载自blog.csdn.net/qq_45371603/article/details/104613795
今日推荐