Spark Streaming实时流处理笔记（2）—— 实时处理介绍

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/84721073

1 实时和离线计算对比

1.1 数据来源

• 离线：HDFS 历史数据，数据量较大
• 实时：消息队列（Kafka）

1.2 处理过程

• 离线：Mapreduce
• 实时：Spark(DStream/SS)

1.3 处理速度

• 离线：慢
• 实时：快速

1.4 进程

• 离线：启动，销毁
• 实时：7x24小时

2 实时流处理框架

• Apache Storm
• Apache Spark Streaming
• IBM Stream
• Yahoo! S4
• LinkedIn Kafka