Hadoop FS常用命令

1、概述

Hadoop文件系统(FS)提供了各种shell命令,与shell命令类似,可用于同分布式文件系统(HDFS)进行交互,以管理HDFS集群中的文件和数据。

2、Hadoop FS常用命令

(1)创建目录

用法:

hadoop fs -mkdir <paths>

示例:
创建单个目录:

hadoop fs -mkdir /home/myfile/dir1

创建多目录:

hadoop fs -mkdir /home/myfile/dir1 /home/myfile/dir2
(2)查看目录

用法:

hadoop fs -ls <paths>

示例:
与shell中ls类似:

hadoop fs -ls /home/myfile/

注:hadoop fs -ls会打印出目录统计信息和详细信息,对文件批处理需注意格式。

(3)上传文件

将一个或多个文件从本地系统复制到Hadoop文件系统。
用法:

hadoop fs -put <local_files> ... <hdfs_path>

示例:

hadoop fs -put Desktop/test.sh /home/myfile/dir1/
(4)下载文件

将文件从HDFS下载到本地文件系统。
用法:

hadoop fs -get <hdfs_paths> <local_path>

示例:

hadoop fs -get /home/myfile/test.sh Downloads/
(5)查看文件

用法:

hadoop fs -cat <paths>

示例:

hadoop fs -cat /home/myfile/test.sh
(6)复制文件

用法:

hadoop fs -cp <source_path> ... <destination_path>

示例:

hadoop fs -cp /home/myfile/test.sh /home/myfile/dir
(7)移动文件

用法:

hadoop fs -mv <source_path> <destination_path>

示例:

hadoop fs -mv /home/myfile/test.sh /home/myfile/dir
(8)删除文件

删除指令有两个选项,-rm和-rm -r
用法:

hadoop fs -rm <path>

示例:

hadoop fs -rm /home/myfile/test.sh

上述命令只会删除给定目录下的文件,如果要删除一个包含文件的目录,类似于shell中的rm,需要使用递归参数-r。

下面是rm的递归操作:
用法:

hadoop fs -rm -r <path>

示例:

hadoop fs -rm -r /home/myfile/dir
(9)查看文件尾部

用法:

hadoop fs -tail <path>

示例:

hadoop fs -tail /home/myfile/test.sh
(10)显示文件总长度

用法:

hadoop fs -du <path>

示例:

hadoop fs -du /home/myfile/test.sh
(11)统计文件数和大小

用法:

hadoop fs -count <path>

示例:

hadoop fs -count /home/myfile
(12)统计文件系统空间的详细信息

用法:

hadoop fs -df <path>

示例:

hadoop fs -df /home/myfile
(13)合并文件

从HDFS拷贝多个文件、合并排序为一个文件到本地文件系统
用法:

hadoop fs –getmerge <src> <localdst>

示例:

hadoop fs –getmerge /user/hduser0011/test /home/myfile/dir

猜你喜欢

转载自blog.csdn.net/olizxq/article/details/81007929
今日推荐