HDFS(二)——HDFS 常用命令

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a909301740/article/details/84331662

操作 HDFS 的命令主要分两种:操作命令,管理命令。

一、操作命令

操作命令以 hdfs dfs ****开头。

  1. -mkdir:创建目录。

    例 1:hdfs dfs -mkdir /aaa—> 在 HDFS 的根目录下创建一个目录aaa。

    例 2:hdfs dfs -mkdir -p /bbb/ccc—> 在 HDFS 的 /bbb 目录下创建 ccc 目录,如果 bbb 不存在,先创建 bbb。

  2. -ls:列出某个目录下的文件,隐藏文件,目录。

    例 1:hdfs dfs -ls /—> 列出 HDFS 的根目录下的所有文件。

    例 2:hdfs dfs -ls -R /—> 列出 HDFS 的根目录以及子目录下的所有文件。(简写:-lsr

  3. -put:上传数据。

    例:hdfs dfs -put ~/a.txt /a.txt

  4. -copyFromLocal:上传数据。

    扫描二维码关注公众号,回复: 4226790 查看本文章

    例:hdfs dfs -copyFromLocal ~/b.txt /b.txt

  5. -moveFromLocal:上传数据(相当于 ctrl + x 剪切)。

    例:hdfs dfs -moveFromLocal ~/c.txt /c.txt

  6. -copyToLocal:下载数据。

    例:hdfs dfs -copyToLocal /a.txt ~/aa.txt

  7. -get:下载数据。

    例:hdfs dfs -get /b.txt ~/b.ttt

  8. -rm:删除目录或文件。

    例:hdfs dfs -rm /a.txt

  9. -rmr:删除目录或文件(包含子目录子文件)。

    例:hdfs dfs -rmr /test

  10. -getmerge:把某个目录下的所有文件合并后下载到本地。

    例:hdfs dfs -getmerge /student ~/temp/alldata.txt,该命令会将 HDFS 的根目录下的 student 目录中的所有文件的内容和并之后下载到本地 Linux 的目录下并命名为 alldata.txt。

  11. -cp:在 HDFS 的目录间进行复制。

    例:hdfs dfs -cp /a.txt /a1.txt

  12. -mv:在 HDFS 的目录间进行移动。

    例:hdfs dfs -mv /a.txt /students

  13. -count:统计当前路径下目录的个数(包含本身),文件的个数,文件总大小(B),输入路径。

    例:hdfs dfs -count /tmp

    [root@bigdata111 ~]# hdfs dfs -count /tmp
               8            3             150979 /tmp
    
  14. -du:统计当前路径下每个文件,目录的大小(B)。

    例:hdfs dfs -du /

    [root@bigdata111 ~]# hdfs dfs -du /
    0       /aaa
    60      /input
    0       /mydemo
    55      /output
    16      /ssss.txt
    16      /st.txt
    16      /st1.txt
    0       /system
    150979  /tmp
    
  15. -text:查看文件内容。

    例:hdfs dfs -text /a.txt

  16. -cat:查看文件内容。

    例:hdfs dfs -cat /a.txt

  17. balancer:平衡每个数据节点上的数据块的个数。

    例:hdfs balancer

二、管理命令

管理命令以 hdfs dfsadmin ****开头。

  1. -report:输出 HDFS 的报告(Summary)。

    例:hdfs dfsadmin -report

    [root@bigdata111 ~]# hdfs dfsadmin -report
    Configured Capacity: 50432839680 (46.97 GB)
    Present Capacity: 47918829568 (44.63 GB)
    DFS Remaining: 47918600192 (44.63 GB)
    DFS Used: 229376 (224 KB)
    DFS Used%: 0.00%
    Under replicated blocks: 0
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    Missing blocks (with replication factor 1): 0
    
    -------------------------------------------------
    Live datanodes (1):
    
    Name: 192.168.220.111:50010 (bigdata111)
    Hostname: bigdata111
    Decommission Status : Normal
    Configured Capacity: 50432839680 (46.97 GB)
    DFS Used: 229376 (224 KB)
    Non DFS Used: 2514010112 (2.34 GB)
    DFS Remaining: 47918600192 (44.63 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 95.01%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Wed Nov 21 23:44:46 CST 2018
    
  2. -safemode:开启或关闭安全模式(安全模式默认关闭,开启后将不能进行写操作)。

    例 1:hdfs dfsadmin -safemode查看有哪些参数)。

    [root@bigdata111 ~]# hdfs dfsadmin -safemode
    Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
    

    例 2:hdfs dfsadmin -safemode enter,进入安全模式。

    例 3:hdfs dfsadmin -safemode leave,退出安全模式。

    例 4:hdfs dfsadmin -safemode get,获取当前安全模式的状态。

猜你喜欢

转载自blog.csdn.net/a909301740/article/details/84331662