大数据学习笔记02-HDFS-常用命令

创建目录

hadoop fs -mkdir [-p] hdfs://master:9999/user/hadoop-twq/cmd

上传文件

hadoop fs -put [-f -d] [localFile1...localFile2] hdfs://master:9999/user/hadoop-twq/cmd
hadoop fs -put - hdfs://master:9999/user/hadoop-twq/cmd/out.txt => 从标准流中上传数据
hadoop fs -copyFromLocal [-f -d] localFile hdfs://master:9999/user/hadoop-twq/cmd

查看文件内容

hadoop fs -cat hdfs://master:9999/user/hadoop-twq/cmd/word.txt

查看文件目录

hadoop fs -ls [-d -h -r] hdfs://master:9999/user/hadoop-twq/cmd

修改文件权限

hadoop fs -chmod [-R] 777 hdfs://master:9999/user/hadoop-twq/cmd

创建新文件

hadoop fs -touchz hdfs://master:9999/user/hadoop-twq/cmd/flag.txt

查看文件大小

hadoop fs -du [-s -h] hdfs://master:9999/user/hadoop-twq/cmd

查看集群容量使用情况

hadoop fs -df [-h] hdfs://master:9999/

移动文件

hadoop fs -mv hdfs://master:9999/user/hadoop-twq/cmd/file hdfs://master:9999/user/hadoop-twq/cmd

下载文件

hadoop fs -get [-f] hdfs://master:9999/user/hadoop-twq/cmd

删除文件

hadoop fs -rm [-r -skipTrash] hdfs://master:9999/user/hadoop-twq/cmd/word.txt
默认文件删除就恢复不出来了

Trash机制

如果想恢复出来的话，需要配置Trash机制，在core-site.xml中配置：

    <property>
        <name>fs.trash.interval</name>
        <value>3</value>
    </property>

scp core-site.xml hadoop-twq@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
scp core-site.xml hadoop-twq@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/
重启hadoop集群

表示3分钟内可以恢复所删文件，此时它存在在本用户目录下的.Trash目录下，可以通过查看.Trash目录，找到被删除文件的路径，然后使用cp命令可以将文件恢复出来：

hadoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq 

如果不适用Trash机制，可以使用-skipTrash，如：
hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326