flume+kafka+storm+redis+mongodb日志优化

1  flume

我们自己写的flume启动脚本flume.sh中，通过nohup启动，nohup日志输出到nohup.out。

该日志会一直增长。

修改：

nohup日志输出到 /dev/null

2 kafka

kafka的日志原来都是dailyrolling日志，日志按日滚动，不删除。系统异常的时候，1天就会输出天量日志。

我们自己写的kafka启动脚本kafka.sh中，也有flume启动脚本类似的问题。

修改：

改成rollingfileappender，限制日志大小为10M，历史日志保留10个。

扫描二维码关注公众号，回复： 5662796 查看本文章

nohup日志输出到 /dev/null

3 mongodb

mongodb的日志只有mongodb重启的时候才会备份旧日志文件，生成新的日志文件，日志文件不会删除。

解决办法，参见此帖子：

http://stackoverflow.com/questions/15287768/mongodb-customzieable-log-size-and-growth-strategy

修改：

新建mongolog.sh, 在该脚本中判断当前日志大小，超过10M，发SIGUSR1 消息，滚动生成新的日志文件。

再检查日志文件数量，超过5个则删除最老的。

crontab建立定时任务，每5分钟执行该脚本。

4 zookeeper

参考这个文件：

http://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1922459

http://blog.csdn.net/xiaolang85/article/details/21184293

修改：

conf/log4j.properties，

        zookeeper.root.logger=INFO,CONSOLE 

      改成

        zookeeper.root.logger=WARN,ROLLINGFILE  

       另外，备份数改为5。

bin/zkEvn.sh

       if [ "x${ZOO_LOG4J_PROP}" = "x" ]  

           then  

               ZOO_LOG4J_PROP="INFO,CONSOLE"  

      fi  

      改为

      if [ "x${ZOO_LOG4J_PROP}" = "x" ]  

      then  

           ZOO_LOG4J_PROP="WARN,ROLLINGFILE"  

      fi  

conf/zoo.cfg

       去掉两个autopurge关联项的注释。autopurge.purgeInterval  设定为24。