Storm的一些运维经验

今天的实时数据跑的不正确,看了下worker的日志,发现是worker重启造成的数据重复计算。但是又查找不到相关worker挂掉的证据。继续看supervisor的日志,发现在worker与zookeeper通信时出现了time out的现象,supervisor shutting down了worker,并重启lanuching了worker,于是想到做了时间校时,造成了worker与zookeeper的超时,最后导致了悲剧的发生。

猜你喜欢

转载自wangxucumt.iteye.com/blog/1726379