Hadoop入门——初识DataNode

1.DataNode

HDFS架构:NameNode、DataNode、Secondary NameNode;


DataNode:提供真实的文件数据存储服务;

文件块(Block):文件块是最基本的存储单位,在DataNode中,文件被分为文件块,默认为三个,HDFS默认一个Block大小是128M,通过dfs.block.size配置文件可修改大小。HDFS跟普通文件系统不相同,如果一个文件小于一个数据块大小,并不占用整个数据块的存储空间。

Block分配机制:默认将一个文件分为三个文件块,第一个发送至离Client最近的DataNode上,第二个Block发送到另一个机架(Rack),以防止一个机架断电导致丢失,第三个Block副本在本机架上随机找一个DataNode存放。通过hdfs-site.xml中修改dfs.replication修改复本数。

2.HDFS的Java客户端依赖包

HDFS包
hadoop-2.4.1/share/hadoop/hdfs/hadoop-hdfs-2.4.1.jar
hadoop-2.4.1/share/hadoop/hdfs/lib/*
commons包
hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar
hadoop-2.4.1/share/hadoop/common/*(重复会覆盖)

猜你喜欢

转载自blog.csdn.net/qq_38550836/article/details/79365994