【Hadoop学习之HDFS】_05HDFS文件块大小

一、HDFS文件块大小

• HDFS中的文件在物理上是分块（Block）存储的，块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x版本中为128M，老版本中是64M
• 寻址时间为传输时间的1%时，为最佳状态

二、为什么块大小不能设置太小，也不能设置太大？

1. 若HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
2. 若HDFS的块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时，会非常慢；
3. 即HDFS块的大小设置主要取决于磁盘传输速率。