Strom学习(二)----Storm计算模型

Storm计算模型是一个DAG的计算模型,而且Storm是把DAG和流式计算结合起来。

在Storm的DAG模型里面,最关键的点是Topology,Topology是Storm计算模型DAG的一个体现,也是Storm里面DAG的实现。DAG是一个有向无环图结构。

一个Topology和一个job相似,是一个app的打包运行实例,Topology会被提交到Storm平台上去运行,Storm上跑的是一个一个的Topology。Topology的生命周期是永远不会结束的,只有在运行kill命令时才会结束。

在Topology里面有spout,bolt,tuple,stream,grouping

spout是数据的来源,从storm系统外面把数据搞进来。spout是数据源和storm整个系统的一个交接的地方,是把外部数据和storm流式处理衔接起来的桥梁。

bolt实际上就是处理spout里拿过来的数据,bolt的处理的数据实际上是一个一个tuple,tuple是storm中数据处理的最基本的单元。

spout拿到数据后生成tuple交给bolt进行处理,处理完后生成新的tuple交个下一个bolt处理。

Tuple的通道是streaming

grouping是tuple的路由的策略,决定tuple流向哪个bolt的实例

猜你喜欢

转载自350083890.iteye.com/blog/2320599