hadoop小文件过多引起的负载过高

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/keyuquan/article/details/79278372

一.场景描述

系统运行一段时间后，总是报负载过高的警告

告警等级: Warning

告警信息: Processor load is too high on hadoopmaster

告警项目: system.cpu.load[all,avg1]

问题详情: Processor load (1 min average per core) 4.43

二.解决过程

1.优化代码，没有多大的作用

2.hadoop中的文件以前是按照天分，把这些文件按月合并，小文件数量大大减小 --- 最终解决方法

 

三. 分析

1.Processor load is toohigh  经查找资料知道，负载分为两大部分：CPU负载、IO负载

https://www.jianshu.com/p/347afe9ba9ee

2.所以从优化代码和合并小文件两个方向入手