HDFS的块大小和MapReduce切片大小的区别和联系

版权声明：Please make the source marked https://blog.csdn.net/qq_31807385/article/details/84642718

先看下面的题目：

参考下面的MR系统的场景:
--hdfs块的大小为64MB
--输入类型为FileInputFormat

有三个文件的大小分别是:64KB 65MB 127MB
Hadoop框架会把这些文件拆分为多少块？

答案如下：

5块：64K，64M，1M,  64M，63M

我之前的理解是4块，错误的原因是没有真正的理解数据的分块和数据的切片之间的关系，下面来阐述有一下：

分块：指的是文件在HDFS上的存储，将要存储的数据分成一块又一块，然后放在HDFS上存储；

切片：指的是MapReduce阶段的FileInputFormat阶段对于数据块的切片，默认的切片大小是块大小。

在本题目中： 求的是HDFS中的数据分块，而不是对于块的切片。所以会被分成了四块。这里如果是切片的话，会被切成四片。因为在65M 的时候，因为没有大于文件的1.1倍，所有不会被切分掉。