Storm怎么完成对单词的计数?

  如图所示,单词计数topology由一个spout和下游的三个bolt组成。

  1.spout:动态接受数据源消息,多连接到动态数据源上。
  2.语句分割bolt:将每个句子分割成单词。
  3.单词计数bolt:以语句分割bolt的输出作为输入,统计每个单词的数量。
  单词计数bolt(WordCountBolt)订阅SplitSentenceBolt类的输出,保存每个特定单词出现的次数。每当bolt接收到一个tuple,会将对应单词的计数加1,并且向后发送该单词当前的计数。 ----->   {"word" : "dog" , "count" : 5}
  4.上报bolt订阅WordCountBolt类的输出,像WordCountBolt一样,维护一份所有单词对应的技术的表。当接收到一个tuple时,上报bolt会更新表中的计数数据,并且将值在终端打印。

  Storm中的bolt不是不存储任何数据嘛?这边指的是不存储tuple消息,但是可以定义list map等数据结构存储。

  Spout中的方法:open, nextTuple, DeclareOutputField;
  Bolt中的方法:prepare, execute, DeclareOutputField;
  execute()方法是IBolt接口定义的,每当从订阅的数据流中接收一个tuple,都会调用这个方法。

猜你喜欢

转载自my.oschina.net/134596/blog/1795939
今日推荐