HDFS需要了解的思想

1.HDFS文件块大小怎么确定

1.在分布式集群Hadoop2.x版本中默认大小是128M；在Hadoop1.x中是64M；在本地默认都是32M。
2.确定块大小所依据的设计原理：寻址时间为传输时间的1%

 - 由于现在磁盘的寻址时间都是10MS
 - 而普通磁盘的传输速率大概为100M/S
 - 文件块确认大小:
	10ms/0.01=1000ms=1s
	1*100M/S=100M
	尽量设为2的次方数：128M

2.如果将文件块的大小设置的太大或者太小会怎么样

1.设置的太小，会增加寻址时间
2.设置的块太大，会使磁盘传输数据的时间明显大于定位这个块寻址所需的时间，导致处理这块数据时，非常的慢

版权声明：本博客为记录本人自学感悟，转载需注明出处！
https://me.csdn.net/qq_39657909