storm 基础知识

Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统。Apache Storm  Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样。Storm处理速度很快，每个节点每秒钟可以处理超过百万的数据组。
      Apache Storm应用的场景例如：实时分析、在线机器学习、连续计算、分布式RPC、ETL 等。

水源源不断的从水龙头流出来，可以流到到不同的池子，然后最后汇合到一个池子 ，形象的描述了Storm可以处理无限的数据流，经过每个节点，可以对数据进行过滤、计算等操作，然后在发送到下一个节点进行处理。

二、Storm架构                                         
      
       Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点)，控制节点可以一个，工作节点多个组成的，而Zookeeper主要负责Nimbus节点和Supervisor节点之间的协调工作。

    Nimbus节点负责资源分配和任务分配，通过Zookeeper监控Supervisor状态，Supervisor节点定期接受Nimbus节点分配任务，并会从Nimbus下载代码，并启动对应的worker进程并监控worker 状态，每一worker是一个独立的JVM进程，Worker中运行Spout/Bolt线程Task任务，Storm使用zookeeper来协调整个集群，状态信息（Nimbus分发的任务、Supervisor、worker的心跳等）都保存在Zookeeper上。

三、分布式实时计算应用结构                                 
  
   Apache Storm 是一个开源的分布式、实时计算应用，实时计算应用它是由Topologys、Streams、Spouts、Bolts、Stream groupings等元素组成的。

1、Topologys（拓扑）
       Storm的Topologies是一个分布式实时计算应用，它通过Stream groupings把spouts和Bolts串联起来组成了流数据处理结构，Topologies在集群中一直运行，直到kill（storm kill topology-name [-w wait-time-secs]） 拓扑时扑才会结束运行。
     运行一个拓扑只要把代码打包成一个jar，然后在storm集群环境下，执行命令
           storm jar topology-jar-path class........
     拓扑运行模式：本地模式和分布式模式。
       本地模式:
[html] view plain copy
LocalCluster cluster = new LocalCluster(); 
Topology("word-count", conf, builder.createTopology()); 

分布式模式:
[html] view plain copy
conf.setNumWorkers(2); 
Topology(args[0], conf, builder.createTopology()); 


2、Streams（数据流）
      Streams是storm最核心的抽象概念，一个Stream是一个没有边界的tuple序列，Streams是由Tuple(元组)组成的，Tuple支持的类型有Integer、 Long、 Short、Byte、String、Double、Float、Boolean、Byte arrays。Tuple也支持可序列化的对象。

Tuple是数据流中的一个基本处理单元，包含了多个Field和对应的值，可以理解为key-value的map，因为Bolt中通过declareOutputFields事先定义好往下传的字段名称，所以在构造Tuple时，只要传入对应的value（value List）。
    1)declareOutputFields事先定义好往下传的字段名称
[java] view plain copy
   @Override 
  public void declareOutputFields(OutputFieldsDeclarer declarer) { 
//定义了传到下一个bolt的字段描述 
declarer.declare(new Fields("field")); 
} 
  
    2)然后通过emit要填充value    
[java] view plain copy
collector.emit(new Values(value)) 


说明：
          1）数据流都有默认的id（streamId=default）
      
[java] view plain copy
public List<Integer> emit(List<Object> tuple) { 
     return emit(Utils.DEFAULT_STREAM_ID, tuple); 
} 
                                                 ---源代码
        2）我们可以自己定义数据流Id,declareOutputFields事先定义好往下传的字段名称时，可以声明对应的数据流ID: declarer.declareStream("streamId", new Fields("field"))

3、Spouts（数据源）

        Spout是拓扑的数据流的源头，Spout不断的从外部读取数据（数据库、kafka等外部资源），并发送到拓扑中进行实时的处理。
       Spout是主动模式，Spout继承BaseRichSpout或者IRichSpout类不断的调用nextTuple()函数，然后通过emit发送数据流。
   参数说明：
      Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS：一个Tuple元组全部完成的最大等待时间，默认是30秒；
      Config.TOPOLOGY_MAX_SPOUT_PENDING：设置一次等候单个spout任务的元组最大的数量，（等候意味着这元组没有被acked或失败），设置这个值可以防止队列溢出

  4、Bolts（数据流处理组件）
       Bolt接收Spout或者上游的Bolt发来的Tuple(数据流)，然后对数据流进行处理（数据的过滤、统计等等的操作）。
     Bolt是被动模式，Bolt继承BaseBasicBolt类或者IRichBolt 接口等来实现，当 Bolt接收Spout或者上游的Bolt发来的Tuple(数据流)时调用execute 方法，并对数据流进行处理完，OutputCollector的emit 发送数据流，execute 方法在Bolt中负责接收数据流和发送数据流。

5、Stream groupings（数据流分组）
      Storm是通过Stream groupings把spouts和Bolts串联起来组成了流数据处理结构 。   
      Storm对Stream groupings定义了8种数据流分组方式：
       1）Shuffle grouping（随机分组）：对Tuple（数据流）随机的分发到下一个bolt的Tasks(任务)，每个任务同等机会获取Tupe，保证了集群的负载均衡。
       2）Fields grouping（字段分组）：对指定的字段对数据流进行分组，相同的字段对应的数据流都会交给同个bolt中Task来处理，不同的字段的数据流会分发到不同的Task来处理。
       3）Partial Key grouping（部分字段分组）：按字段进行分组，这种跟Fields grouping很相似，但这种方式会考虑下游 Bolt 数据处理的均衡性问题，会提供更好的资源利用，可以参考官方的解释。
       4）All grouping（完全分组）： Tuple(数据流)会被同时的发送到下一个bolt中的所有Task(任务)。
           5）Global grouping（全局分组）：Tuple(数据流)会被发送到 Bolt 的同一个Id 最小的Task(任务)。
       6）None grouping（无分组）：使用这种方式说明你不关心数据流如何分组。目前这种方式的结果与随机分组完全等效，不过未来可能会考虑通过非分组方式来让 Bolt 和它所订阅的 Spout 或 Bolt 在同一个线程中执行。
       7）Direct grouping（直接分组）：通过OutputCollector emitDirect 方法指定下一个bolt的具体Task来处理。
      8）Local or shuffle grouping（本地或随机分组）：如果目标 Bolt 有一个或更多的任务在相同的Worker进程中，Tuple就发送给这些Task，否则Tuple会被随机分发（跟Shuffle grouping一样）。

6、Reliability（可靠性）
     Storm 为了保证spout发送的tuple能够成功的处理，通过 tuple 树跟踪每个Tuple是否被成功的处理。Storm有配置一个Tuple元组全部完成的最大等待时间，如果超过这个时间，就默认这个Tuple失败，重新发送Tuple。通过这种机制保证了Tuple的可靠性。可以参考官方文档对数据处理说明
     Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS：一个Tuple元组全部完成的最大等待时间，默认是30秒。

7、Tasks（任务）
      Task是对应一个spoout或者bolt实例，在Storm集群中每个spoout或者bolt对应多个Task来执行，spoout或者bolt设置多个并行度（setSpout/setBolt），就有对应的多个个Task，spoout的nextTuple()/bolt 的execute() 会被执行。

8、Workers（工作进程）
      拓扑运行在一个或者多个worker上，每一worker是一个独立的JVM进程，进程里面包含一个或者多个executor（线程），一个线程会处理一个或者多个Task(任务)。
   Config.TOPOLOGY_WORKERS设置worker数量。