大数据开发之Hadoop篇-----hdfs shell脚本

当我们已经将hadoop部署完以后,那么现在我们要怎么进行操作呢?当然,首先是完成hdfs上的文件存储,hdfs是一个文件存储系统和linux是一样的,都是通过shell命令来完成文件的上传和下载以及对文件的管理。本篇将介绍hdfs上对文件以及文件夹的管理。

首先,我们需要知道操作hdfs的命令是在哪里?如果你们没有将hadoop配置到环境变量当中,那么我们就切换到hadoop/bin目录下,我们有两种操作方式(都是一样的):hadoop fs  和  hdfs dfs。下面我们主要以hdfs dfs为主:

1,列出hdfs文件系统中的文件以及文件夹

hdfs dfs -ls /   这里是从根目录开始列出根目录下的文件和文件夹,如果想递归地显示出所有文件和文件夹,可以添加参数r

hdfs dfs -lsr /

2,上传文件

hdfs dfs -put local_file hdfs_path,这里我们将本地的一个文件上传到hdfs上,需要指明的是本地文件的地址和上传到hdfs上的位置

hdfs dfs copyFromLocal file_path hdfs_path

3,查看文件内容

hdfs dfs -cat hdfs_file

4,创建文件夹以及级联创建

hdfs dfs -mkdir hdfs_path ,如果是级联创建添加参数-p hdfs dfs -mkdir -p hdfs_path

5,删除目录或者文件

hdfs dfs -rm hdfs_file 这个是删除问价的,如果想删除文件夹就添加-r这个参数  hdfs dfs -rm -r hdfs_path,你也可以简写成hdfs dfs -rmr hdfs_path

6,复制系统内的文件

hdfs dfs -cp hdfs_file1 hdfs_file2,如果是文件夹还是添加-r这个参数

7,复制文件到本地文件系统

hdfs dfs -get hdfs_file loacl_path

hdfs dfs copyToLocal hdfs_file local_path

8,将文件从一个地方剪切到另一个地方

hdfs dfs -mv hdfs_file hdfs_path

9,显示文件以及文件夹大小

hdfs dfs -du hdfs_file,如果是显示当前文件夹的大小可以添加参数-s hdfs dfs -du -s hdfs_path

10,在本地和hdfs上进行文件的移动(剪切)

hdfs dfs -moveToLocal  hdfs_file local_path

hdfs dfs -moveFromLocal lcoal_file hdfs_path

当然还有其他的一些命令,但是通过上面的命令我们可以了解到hdfs的shell命令是和linux上的shell命令大致是一样的。

猜你喜欢

转载自blog.csdn.net/weixin_39702831/article/details/82866224