Strom学习(一)----简介

什么是实时流式计算:

实时流式计算是实时计算和流式计算的叠加。

    实时计算:响应时间受到实时约束的计算,时间约束很短,以秒,毫秒为单位

    流式计算:在不断产生的数据流上进行的计算

                      数据流由基本数据单元组成

                      数据流不断产生,没有尽头,计算结果也不断产生/更新

实时流式计算:在不断产生的数据流上的实时计算,输入数据流式不断产生的没有尽头的,计算结果的产生时间相对于数据流入的时间是实时的。

实时流式计算特点:

1.流式处理,数据不断流入,流出,与批处理相对,例如:动态刷新的PV线,每日PV统计报表

2.时效性高,很快得到结果,这里的快是相对的,相对于业务需求足够快,相对于其他技术如批处理足够快

适合场景:

1.实时流式数据分析,例如实时统计,实时预警

2.实时ETL,例如实时日志过滤以及标准化

3.持续计算,例如新闻自动发现分析

 关键技术点:

系统架构(单机架构,分布式架构,master-slave)、延迟吞吐、编程模型(为开发者提供简单的编程方式和接口,将重点放在业务上,提高开发速度)、数据传输、高可用性(保证系统稳定的运行)、可维护性(当大量的工作自动来做,说明系统的可维护性高)

常见的实时流系统:

MQ加Worker进程,S4,SparkStreaming,Strom

Storm的计算模型:

DAG模型:spout/bolt/tuple/stream/grouping

Storm的系统架构:

nimbus/supervisor/woker/executor/zk

       

猜你喜欢

转载自350083890.iteye.com/blog/2320532