hdfs实现shell的常用命令


1.启动hdfs

start-dfs.sh
在这里插入图片描述
输入jps可以查看进程,我们可以看到hadoop01,主进程
在这里插入图片描述
验证是否开启成功:
打开网页:
格式:http://namenode主节点:50070
http://hadoop01:50070
在这里插入图片描述

2.启动yarn

start-yarn.sh /
在这里插入图片描述
输入jps可以查看进程,我们可以看到hadoop03是所有资源调度的系统
在这里插入图片描述
格式:http://resourcemanager节点:8088
http://192.168.2.103:8088
在这里插入图片描述

3.-ls 显示目录信息

hadoop fs -ls / 等同于 hdfs dfs -ls /
在这里插入图片描述
对应在hdfs上可以查看目录信息
在这里插入图片描述

4. -mkdir 创建目录

在hdfs上创建一个bb文件夹—hadoop fs -mkdir /bb
在这里插入图片描述

5. -put 上传文件(等同于指令copyFromLocal)

先在本地创建一个文件 touch hhh.txt在这里插入图片描述
在hhh.txt中写入内容 echo
在这里插入图片描述
将hhh.txt上传到hdsf的bb文件夹—hadoop fs -put apps/hhh.txt /bb

在这里插入图片描述
在这里插入图片描述
在apps目录下创建文件夹 mkdir cc
如果已经在apps目录下,输入命令则上传的文件夹在目录前不需要加apps
在这里插入图片描述
在这里插入图片描述

6. -get 文件下载到本地(等同于指令copyToLocal)

先进入到想要放置文件的目录,然后输入hadoop fs -get /hdfs目标文件
在这里插入图片描述
批量下载:如果想下载所有.txt后缀文件,就写/hdfs主目录/*.txt
在这里插入图片描述
hadoop fs -get /hdfs主目录 本地目录
案例:把hdfs上bb目录下的文件都下载到本地
hadoop fs -get /bb /home/hadoopUser/
在这里插入图片描述

7. -getmerge 合并下载多个文件

-getmerge打包下载的是同种格式的文件,下载好了可以在本地预览内容,要是打包下载不同格式的文件,就出乱码了。
把hdfs上bb文件夹下的所有txt文件合并下载到本地hadoopUser文件夹下,合并名称为tt。
hadoop fs -getmerge /bb/*.txt /home/hadoopUser/tt
在这里插入图片描述
cat t 显示内容:会显示a.txt,b.txt和cc.txt合并的内容。(看不到文件名,只能看到文件内容)
在这里插入图片描述

8. -cp 从hdfs的一个路径拷到另一个hdfs路径

将bb目录下的jjj.txt文件拷贝到aa目录下(相当于复制,bb文件夹还有该文件)
hadoop fs -cp /bb/jjj.txt /aa
在这里插入图片描述
在这里插入图片描述

9. -mv 在hdfs目录中移动文件

将bb目录下的iii.txt文件移动到aa目录下(相当于剪切,bb文件夹没有该文件)
hadoop fs -mv /bb/iii.txt /aa
在这里插入图片描述
在这里插入图片描述

10. -rm 删除文件或文件夹

删除aa文件夹下的jjj.txt文件
hadoop fs -rm -f /aa/jjj.txt
在这里插入图片描述

11. -rmdir 删除空目录

先在aa目录下创建一个cc目录
hadoop fs -mkdir /aa/cc
在这里插入图片描述
hadoop fs -rmdir /aa/cc
删除cc空目录,删除不了aa目录,因为aa目录不是空目录
在这里插入图片描述
在这里插入图片描述

12. -cat 显示文件内容

hadoop fs -cat /aa/iii.txt
在这里插入图片描述

发布了56 篇原创文章 · 获赞 34 · 访问量 3671

猜你喜欢

转载自blog.csdn.net/MicoOu/article/details/103286602