1、HDFS小文件影响
（1） 影响NameNode的寿命，因为文件元数据存储在NameNode的内存中
（2） 影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务
2、数据输入小文件处理：
（1） 合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储成SequenceFile文 件。
（2） 采用CombineFileInputFormat来作为输入，解决输入端大量小文件场景。
Hadoop自身包含了CombineFileInputFormat，其功能是将多个小文件合并如一个分片，由一个map任务处理，这样就减少了不必要的map数量。
（3） 对于大量小文件Job，可以开启JVM重用。
大量小文件就会有大量map，开启JVM重用可以省去大量jvm创建所需时间
3、Map阶段
（1） 增大环形缓冲区大小。由100m扩大到200m
（2） 增大环形缓冲区溢写的比例。由80%扩大到90%
1、2间接通过减少溢写文件的marge次数来提高性能
（3） 减少对溢写文件的merge次数。（10个文件，一次20个merge）
（4） 不影响实际业务的前提下，采用Combiner提前合并，减少 I/O。
详解：开启两个Job任务，第一个Job进行类似Combiner合并操作，第二个job将第一个job的结果进行计算操作
4、Reduce阶段
（1） 合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延 长处理时间；太多，会导致 Map、Reduce任务间竞争资源，造成处理超时等错误。
（2） 设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，
Reduce也开始运行，减少Reduce的等待时间。
（3） 规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
（4） 增加每个Reduce去Map中拿数据的并行数
（5） 集群性能可以的前提下，增大Reduce端存储数据内存的大小。
5、 IO传输
（1） 采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZOP压缩编码器。
（2） 使用SequenceFile二进制文件
SequenceFile类可以高效的对小文件进行存储和处理
6、 整体
（1） MapTask默认内存大小为1G，可以增加MapTask内存大小为4-5g
（2） ReduceTask默认内存大小为1G，可以增加ReduceTask内存大小为4-5g
（3） 可以增加MapTask的cpu核数，增加ReduceTask的CPU核数
（4） 增加每个Container的CPU核数和内存大小
Container：yarn中用于资源调度，提高他的性能更快完成任务资源的调度
（5） 调整每个Map Task和Reduce Task最大重试次数