Storm 1.1 Storm topology的组成部分—stream、spout和bolt

Storm分布式计算机构称为topology(拓扑),由stream(数据流)、spout(数据流的生成者),bolt(运算)组成,如下图所示:


1.stream
Storm的核心数据结构是tuple。tuple是包含了一个或多个键值对的列表,Stream是由无限制的tuple组成的序列。

2.spout
spout代表了一个Storm topology的主要数据入口,充当采集器的角色,连接到数据源,将数据转化为一个个tuple,并将tuple作为数据流进行发射。
Storm为实现Spout提供了简单的API。开发一个spout的主要工作就是编写代码从数据源或者API消费数据。因为spout通常不会用来实现业务逻辑,所以在多个topology中常常可以复用。


3.bolt
bolt可以理解为计算程序中的运算或者函数,将一个或多个数据流作为输入,对数据实施运算后,选择性地输出一个或多个数据流。Bolt可以订阅多个由spout或者其他bolt发射的数据流,这样就可以建立复杂的数据流转换网络。
像Spout API一样,bolt可以执行各式各样的处理功能,bolt的编程接口简单明了,bolt可以执行的典型功能包括:
1)过滤tuple
2)连接(join)和聚合操作(aggregation)
3)计算
4)数据库读写


以上来自:

猜你喜欢

转载自margaret0071.iteye.com/blog/2360108