HDFS的体系结构和操作

HDFS fs 常用命令

1.对hdfs操作的命令格式是hadoop fs
  1.1 -ls 表示对hdfs下一级目录的查看

hadoop fs -ls hdfs://chaoren:9000/ ----对HDFS的根目录进行查看(Linux下:ls /)
    path:这个可以使用more core-site.xml进行查看,发现里面配置有这个path的值为hdfs://chaoren:9000。

1.2 -lsr 表示对hdfs目录的递归查看

hadoop fs -lsr hdfs://chaoren:9000/
    hadoop fs -lsr /
    这两个命令的作用是一样的,都是查询HDFS根目录下的

1.3 -mkdir 创建目录

hadoop fs -mkdir /d1 —创建文件夹d1
    hadoop fs -ls / —验证文件夹是否创建成功

  1.4 -put <src> <des> 从linux上传文件到hdfs

hadoop fs -put ./core-site.xml hdfs://chaoren:9000/d1

1.5 -get 从hdfs下载文件到linux

hadoop fs -get /d1/core-site.xml .

1.6 -text 查看文件内容

hadoop fs -text /d1/core-site.xml

1.7 -rm 表示删除文件

hadoop fs -rm /d1/core-site.xml

1.8 -rmr 表示递归删除文件

hadoop fs -rmr /d1

2.hdfs在对数据存储进行block划分时,如果文件大小超过block,那么按照block大小进行划分;不如block size的,划分为一个块,是实际数据大小。

Namenode:
1、是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。

2、文件包括:(源码中hdfs-site.xml的dfs.name.dir属性)
(1)fsimage:元数据镜像文件。存储某一时段namenode内存元数据信息。
(2)edits:操作日志文件。
(3)fstime:保存最近一次checkpoint的时间。
以上这些文件都是保存在Linux的文件系统中。

Datanode:
提供真实文件数据的存储服务。

文件块(block):最基本的存储单位。HDFS默认block大小是64MB。

不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间,只占用实际大小!
Replication:源码中hdfs-site.xml的dfs.replication属性。多副本,默认是三个。

SecondaryNameNode:
1、HA的一个解决方案。但不支持热配。配置即可。
2、执行过程:从namenode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到namenode,同时重置namenode的edits。
3、默认安装在namenode节点上,但这样不安全。

PermissionDenyException 权限不足*****
错误:dfs.permissions的默认值是true。但是自己在用时,将其改为了false。改为了false,就不会报权限不足的错误了。

猜你喜欢

转载自blog.csdn.net/chenyuanshengboke/article/details/83928433