Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费，持续阻塞

版权声明：原创文章，欢迎转载，转载请注明出处 https://blog.csdn.net/zhangshenghang/article/details/86494130

Kafka消费storm，突然有两个分区无法消费数据(或重复消费无法提交offset)

offset是我们自己进行管理，kafka日志也是正常没有报错，storm日志也是没有报错~ 就是卡住了

1.尝试将partition为0,1的offset记录删除，重新跑一遍，结果还是到那个offset处卡住

2.再次尝试手动修改offset跳过卡住的那一条数据(这种做法会丢失一条数据,在数据不允许丢失或无法重新恢复的情况下不可使用)

set /stormoffset/xxx/partition_0 {"topology":{"id":"topology-name-28-1547535229","name":"topology-name"},"offset":417958889,"partition":0,"broker":{"host":"xxx","port":9092},"topic":"test_data"}

 重启storm程序，记住要kill掉再次启动才会生效，Deactivate/Activate无法生效