storm定时任务使用实例

1.背景

需要在bolt中定时执行某些操作

2.方法

都是利用系统自带的定时tuple来完成,相当于系统自动发一个带有特殊标记的tuple,然后自己在bolt中判断,若为此特殊tuple,执行定时函数。
(1)如果所有bolt都需要定时,可在topology入口处通过config设置
(2)如果只有某一类bolt需要定时,可在该bolt内部override getComponetConfiguration方法设置

3.实现

(1)在topology入口处
[java]  view plain  copy
  1. conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 60);// 设置本Bolt定时发射数据  
在各个bolt中使用下面代码判断是否是触发定时
[java]  view plain  copy
  1. tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)  

(2)bolt内部
[java]  view plain  copy
  1. @Override  
  2. public Map<String, Object> getComponentConfiguration() {  
  3.     // configure how often a tick tuple will be sent to ParseBolt  
  4.     Config conf = new Config();  
  5.     conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, TOPOLOGY_TICK_TUPLE_FREQ_SECS);  
  6.     return conf;  
  7. }  

执行函数内:
[java]  view plain  copy
  1. public void execute(Tuple tuple, BasicOutputCollector basicOutputCollector) {  
  2.       
  3.     if (tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) &&  
  4.             tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID)) {  
  5.         //some things to do   
  6.         return;  
  7.     }  
  8. }  

4.注意事项

(1)一定注意区分自己的需求是第一种还是第二种
(2)接到定时tuple并处理后,记得执行return; 

猜你喜欢

转载自blog.csdn.net/guicaizhou/article/details/80667574