Storm学习笔记(一)

一、概述

Storm 是一个开源的分布式实时计算系统,可以简单可靠的处理大量的数据流。Storm可以很多的 应用场景:实时分析,在线机器学习,持续计算,分布式RPC,ETL等。Storm支持水平扩展,具有高容错性,保证每个消息都会得到处理,而且处理速度很快(在一个小集群中,每个节点每秒都可以处理数以百万计的消息)。Storm的部署和运维都很便捷,而且是可以使用任意的编程语言来开发应用。

二、Strom结构

  • 结构:
    storm结构称为topology(拓扑),由Stream(数据流),spout(喷嘴-数据流的生成者,连接转换数据流,不处理任何的业务逻辑,数据的转换者和流的发送者),bolt(阀门-数据流运算者,可以接受一个或者多个组件的流,进行处理,可以发送给其他多个bolt,依此类推,bolt是一个stream的消费者也是一个stream的产生者)组成。可以组成一个复杂的数据处理流的拓扑网络。拓扑网络优势:把大问题拆分成小步骤,把每一个小问题拆分成一个小的bolt,利用分布式的方式分布到不同机器上并行的进行处理。
    不同于Hadoop的job,Storm中的topology会一直运行下去,除非进程被杀死获取取消部署。

  • Stream
    Storm的核心数据结构是tuple(元组),本质上是包含了一个或者多个键值对的列表。Stream是由无限的tuple组成的序列。

  • Spout
    spout连接数据源,将数据转化成为一个个的tuple,并将tuple作为数据流进行发射。开发一个spout 的主要工作就是利用API编写代码从数据源消费数据流。
    spout的数据源可以有很多种来源:
    web或者移动程序的点击流
    社交网络信息
    传感器收到的数据
    应用程序产生的日志信息
    spout通常指负责转换数据、发射数据,通常不会用于处理业务逻辑,从而可以很方便的实现spout的复用。

  • bolt
    主要负责数据的运算,将接收到的数据实施运算后,选择性的输出一个或者多个数据流。
    一个bolt可以接收多个由spout或者bolt发射的数据流,从而可以组件出复杂的数据转换和处理网络拓扑结构。

    bolt常见的典型功能:

    • 过滤
    • 连接和聚合
    • 计算
    • 数据库的读写

猜你喜欢

转载自blog.csdn.net/HaigLee/article/details/71394990