HDFS文件块大小(面试重点)

1、HDFS文件块大小

  HDFS的文件在物理上是分块储存(Block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在Hadoop2.x版本中是128MB,老版本中是64MB

2、为何Block默认大小设置为128MB ? 在这里插入图片描述

3、为何文件块大小不能设置太大,也不能太小?

(1) HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置。
(2) 如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。
总结:HDFS块的大小设置主要取决于磁盘传输速率

发布了62 篇原创文章 · 获赞 66 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/a1786742005/article/details/104128336