HDFS 块大小设置

  • 减少硬盘寻道时间(disk seek time)

    • 假如数据块设置过少,那需要读取的数据块就比较多,由于数据块在硬盘上非连续存储,所以随机寻址较慢,读越多的数据块就增大了总的硬盘寻道时间。当硬盘寻道时间比io时间还要长的多时,那么硬盘寻道时间就成了系统的一个瓶颈。合适的块大小有助于减少硬盘寻道时间,提高系统吞吐量。传输一个由多个块的组成的文件取决于磁盘传输速率。随着新一代磁盘去东区传输速率的提升,块的大小将会被设置的更大

  • 减少Namenode内存消耗

    • 对于HDFS,他只有一个Namenode节点,他的内存相对于Datanode来说,是极其有限的。然而,namenode需要在其内存FSImage文件中中记录在Datanode中的数据块信息,假如数据块大小设置过小,而需要维护的数据块信息就会过多,那Namenode的内存可能就受限

  • 问题分解问题

    • 块的大小太大的话,一个map任务处理一个块,那任务数就变少了,作业运行速度也就变慢了

猜你喜欢

转载自www.cnblogs.com/xiangyuguan/p/11313340.html