操作 HDFS 的命令主要分两种:操作命令,管理命令。
一、操作命令
操作命令以 hdfs dfs ****
开头。
-
-mkdir
:创建目录。例 1:
hdfs dfs -mkdir /aaa
—> 在 HDFS 的根目录下创建一个目录aaa。例 2:
hdfs dfs -mkdir -p /bbb/ccc
—> 在 HDFS 的 /bbb 目录下创建 ccc 目录,如果 bbb 不存在,先创建 bbb。 -
-ls
:列出某个目录下的文件,隐藏文件,目录。例 1:
hdfs dfs -ls /
—> 列出 HDFS 的根目录下的所有文件。例 2:
hdfs dfs -ls -R /
—> 列出 HDFS 的根目录以及子目录下的所有文件。(简写:-lsr
) -
-put
:上传数据。例:
hdfs dfs -put ~/a.txt /a.txt
。 -
-copyFromLocal
:上传数据。扫描二维码关注公众号,回复: 4226790 查看本文章例:
hdfs dfs -copyFromLocal ~/b.txt /b.txt
。 -
-moveFromLocal
:上传数据(相当于 ctrl + x 剪切)。例:
hdfs dfs -moveFromLocal ~/c.txt /c.txt
。 -
-copyToLocal
:下载数据。例:
hdfs dfs -copyToLocal /a.txt ~/aa.txt
。 -
-get
:下载数据。例:
hdfs dfs -get /b.txt ~/b.ttt
。 -
-rm
:删除目录或文件。例:
hdfs dfs -rm /a.txt
。 -
-rmr
:删除目录或文件(包含子目录子文件)。例:
hdfs dfs -rmr /test
。 -
-getmerge
:把某个目录下的所有文件合并后下载到本地。例:
hdfs dfs -getmerge /student ~/temp/alldata.txt
,该命令会将 HDFS 的根目录下的 student 目录中的所有文件的内容和并之后下载到本地 Linux 的目录下并命名为 alldata.txt。 -
-cp
:在 HDFS 的目录间进行复制。例:
hdfs dfs -cp /a.txt /a1.txt
。 -
-mv
:在 HDFS 的目录间进行移动。例:
hdfs dfs -mv /a.txt /students
。 -
-count
:统计当前路径下目录的个数(包含本身),文件的个数,文件总大小(B),输入路径。例:
hdfs dfs -count /tmp
。[root@bigdata111 ~]# hdfs dfs -count /tmp 8 3 150979 /tmp
-
-du
:统计当前路径下每个文件,目录的大小(B)。例:
hdfs dfs -du /
[root@bigdata111 ~]# hdfs dfs -du / 0 /aaa 60 /input 0 /mydemo 55 /output 16 /ssss.txt 16 /st.txt 16 /st1.txt 0 /system 150979 /tmp
-
-text
:查看文件内容。例:
hdfs dfs -text /a.txt
。 -
-cat
:查看文件内容。例:
hdfs dfs -cat /a.txt
。 -
balancer
:平衡每个数据节点上的数据块的个数。例:
hdfs balancer
。
二、管理命令
管理命令以 hdfs dfsadmin ****
开头。
-
-report
:输出 HDFS 的报告(Summary)。例:
hdfs dfsadmin -report
。[root@bigdata111 ~]# hdfs dfsadmin -report Configured Capacity: 50432839680 (46.97 GB) Present Capacity: 47918829568 (44.63 GB) DFS Remaining: 47918600192 (44.63 GB) DFS Used: 229376 (224 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1): 0 ------------------------------------------------- Live datanodes (1): Name: 192.168.220.111:50010 (bigdata111) Hostname: bigdata111 Decommission Status : Normal Configured Capacity: 50432839680 (46.97 GB) DFS Used: 229376 (224 KB) Non DFS Used: 2514010112 (2.34 GB) DFS Remaining: 47918600192 (44.63 GB) DFS Used%: 0.00% DFS Remaining%: 95.01% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Wed Nov 21 23:44:46 CST 2018
-
-safemode
:开启或关闭安全模式(安全模式默认关闭,开启后将不能进行写操作)。例 1:
hdfs dfsadmin -safemode
(查看有哪些参数)。[root@bigdata111 ~]# hdfs dfsadmin -safemode Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
例 2:
hdfs dfsadmin -safemode enter
,进入安全模式。例 3:
hdfs dfsadmin -safemode leave
,退出安全模式。例 4:
hdfs dfsadmin -safemode get
,获取当前安全模式的状态。