storm初学记录1

storm :开源的、分布式、流式计算系统。

storm例子:
https://www.cnblogs.com/hd3013779515/p/6965311.html

storm简介:

https://blog.csdn.net/weiyongle1996/article/details/77142245?utm_source=gold_browser_extension 

W3C教程:

https://www.w3cschool.cn/apache_storm/apache_storm_core_concepts.html


 集批量计算和流式计算于一体的API:Summing Bird  /  CloudDataflow


主节点:Nimbus

从节点:Supervisor


作业:Topology  拓扑 点和边




RandomSentenceSpout : open() / nextTuple()  .emit / ack() / fail() / declarOutputFields ()输出字段




storm数据可靠性:


ack机制




zookeeper:协调

Spout创建

Spout是用于数据生成的组件。基本上,一个spout将实现一个IRichSpout接口。 “IRichSpout”接口有以下重要方法 - 

  • open -Spout提供执行环境。执行器将运行此方法来初始化喷头。

  • nextTuple -通过收集器发出生成的数据。

  • close -当spout将要关闭时调用此方法。

  • declareOutputFields -声明元组的输出模式。

  • ack -确认处理了特定元组。

  • fail -指定不处理和不重新处理特定元组。

Bolt创建

Bolt是一个使用元组作为输入,处理元组,并产生新的元组作为输出的组件。Bolts将实现IRichBolt接口。在此程序中,使用两个Bolts 
CallLogCreatorBoltCallLogCounterBolt来执行操作。

IRichBolt接口有以下方法 -

  • prepare -bolt提供要执行的环境。执行器将运行此方法来初始化spout

  • execute -处理单个元组的输入

  • cleanup -spout要关闭时调用。

  • declareOutputFields -声明元组的输出模式。







猜你喜欢

转载自blog.csdn.net/wwwtotoro/article/details/79898821
今日推荐