Storm排错调优之Spout拉取造成内存溢出（OOM）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Simon_09010817/article/details/81738094

                                                               Storm排错调优之Spout拉取造成内存溢出

        原因分析：

         Storm框架的两个组件spout和bolt,由于Spout从Kafka拉取消息，bolt用于处理。一般情况下，处理速度低于拉取速度，导致bolt处理消耗资源过多。最终造成内存溢出。

       解决方案：

1.合理设置maxSpoutPengding的值。

当前设置为100  也就是p为100，nunm-tasks为1。

所以RotatingMap的最大个数限制为100。

由于之前未设置MaxSpoutPengding，spout产生新的tuple就会立即向后端传递，topo过载严重导致OOM。

         设置为100 ，此时storm会暂停发送tuple，直到发出去的tuple小于这个数字，起到对spout限速的作用。

2.合理设置message.timeout.secs

        这个配置设定了一个Tuple数需要应答的最大时间秒数限制，也就是超过这个时间就已经被认为失败，可能导致stormUI页面spout failed 。这个值设置的太小可能会导致tuple反复重新发送。

         默认值为30s

代码设置参数：

        Config config = topoConfig.buildStormTopoConfig();
        config.setMaxSpoutPending(100);
        config.setMessageTimeoutSecs(60);