HDFS(二):命令行操作

1.基本语法

bin/hadoop fs 具体命令 

关于hadoop fs、hdfs dfs的区别:
https://blog.csdn.net/u013019431/article/details/78485555

2.参数大全

bin/hadoop fs

此处忽略xxx…

3.常用命令实操

(1)-help:输出这个命令参数

bin/hdfs dfs -help ls

(2)-ls: 显示目录信息

hadoop fs -ls /user/pdc

(3)-mkdir:在hdfs上创建目录

hadoop fs -mkdir -p /user/pdc

(4)-moveFromLocal从本地剪切粘贴到hdfs

hadoop fs -moveFromLocal /home/hadoop/.txt /user/pdc

(5)-moveToLocal:从hdfs剪切粘贴到本地

hadoop fs -moveToLocal /user/pdc /home/hadoop/

(6)–appendToFile :追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile ./pdc2.txt /user/pdc/pdc.txt

(7)-cat :显示文件内容

hadoop fs -cat /user/pdc/pdc.txt

(8)-tail:显示一个文件的末尾

hadoop fs -tail /user/pdc/pdc.txt

(9)-text:以字符形式打印一个文件的内容

hadoop fs -text /user/pdc/pdc.txt

(10)-chgrp、-chmod、-chown:linux文件系统中,都是修改文件所属权限

hadoop fs -chmod 666 /pdc.txt
hadoop fs -chown someuser:somegrp /hello.txt

(11)-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal ./jdk.tar.gz /user/pdc

(12)-copyToLocal:从hdfs拷贝到本地

hadoop fs -copyToLocal /user/pdc/jdk.tar.gz ./

(13)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /user/pdc/jdk.tar.gz /user/pdc2/

(14)-mv:在hdfs目录中移动文件

hadoop fs -mv /user/pdc/jdk.tar.gz /user/pdc2/

(15)-get:等同于copyToLocal,就是从hdfs下载文件到本地

hadoop fs -get /user/pdc/jdk.tar.gz ./

(16)-getmerge :合并下载多个文件
应用场景:比如hdfs的目录 /pdc/下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/pdc/log.*./log.sum

(17)-put:等同于copyFromLocal

hadoop fs -put /user/pdc/jdk.tar.gz ./jdk.tar.gz.2

(18)-rm:删除文件或文件夹,-r表示递归

hadoop fs -rm -r /user/pdc

(19)-rmdir:删除空目录

hadoop fs -rmdir /user/pdc

(20)-df :统计文件系统的可用空间信息,-h能将字节单位变为G,容易看

hadoop fs -df -h

(21)-du统计文件夹的大小信息

hadoop fs -du -s -h /user/*

(22)-count:统计一个指定目录下的文件节点数量和深度

hadoop fs -count -h /user./pdc/

(23)-setrep:设置hdfs中文件的副本数量

hadoop fs -setrep 3 /user/pdc/jdk.tar.gz

注:这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量,因为每个节点存储一个副本。假设只有3台设备,那么最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

猜你喜欢

转载自blog.csdn.net/qq_41594698/article/details/89638353