大数据学习(四)web控制面板和hdfs常用命令

web控制面板

这是非常直观的查看我们的集群状态和文件系统内容的一个web端的dashboard如果大家安装过httpd或者其他服务器的话应该就会很好的理解了。

步骤

  1. 首先打开集群,具体命令和过程可以参考我原来的blog,然后查看ip地址,然后如果你没有对端口做任何的配置那么默认的端口就是50070。那么直接打开你本机的web浏览器输入IP:50070就得到如下图所示:

在这里插入图片描述
这很简单。当然别忘记了关闭防火墙、selinux等设置,详见我以前的blog。

dash主要功能区

这里我只简单介绍一下初期需要用到的,首先在这里插入图片描述
这是比较直观的一些属性,记录了集群的一些基本信息。
然后是summary部分可以直接看到安全模式是否开启,还有目录的总个数,块数等,还用用了多少堆存储。
在这里插入图片描述
然后是比较重要的部分就是summary部分中的对于节点状态的统计:
在这里插入图片描述
大家记住live Node和Dead node这个在调试单点故障中比较便捷和直观。

这里我是用的伪分布模式。

然后点击:
在这里插入图片描述
查看文件目录:
在这里插入图片描述
这是我目前这个伪分布的文件系统中有的文件,
上面的属性分别表示
权限—用户----组----大小----上次更新时间----副本数量----块大小—名字
(这里我是用的hdfs设置的一个块的大小是128M,当然可以自己配置,在xml文件中,老板的hadoop好像是64M)

上面的搜索框可以搜索你想要的路径,但是搜索的路径要使用绝对路径,前面要加“/”

常用hdfs命令

这是我自己搜集的,也是怕自己忘记,放在这里一起参考:
(1)-help:输出这个命令参数
bin/hdfs dfs -help rm
(2)-ls: 显示目录信息
hadoop fs -ls /
(3)-mkdir:在hdfs上创建目录
hadoop fs -mkdir -p /hdfs路径
(4)-moveFromLocal从本地剪切粘贴到hdfs
hadoop fs - moveFromLocal 本地路径 /hdfs路径
(5)–appendToFile :追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile 本地路径 /hdfs路径
(6)-cat :显示文件内容
hadoop fs -cat /hdfs路径
(7)-tail -f:监控文件
hadoop fs -tail -f /hdfs路径
(8)-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限
hadoop fs -chmod 777 /hdfs路径
hadoop fs -chown someuser:somegrp /hdfs路径
(9)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径
hadoop fs -cp /hdfs路径1 / hdfs路径2
(10)-mv:在hdfs目录中移动/重命名 文件
hadoop fs -mv /hdfs路径 / hdfs路径
(11)-get:等同于copyToLocal,就是从hdfs下载文件到本地
hadoop fs -get / hdfs路径 ./本地路径
(12)-getmerge :合并下载多个文到linux本地,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…(注:是合成到Linux本地)
hadoop fs -getmerge /aaa/log.* ./log.sum
合成到不同的目录:hadoop fs -getmerge /hdfs1路径 /hdfs2路径 /
(13)-put:等同于copyFromLocal
hadoop fs -put /本地路径 /hdfs路径
(14)-rm:删除文件或文件夹
hadoop fs -rm -r /hdfs路径
(15)-df :统计文件系统的可用空间信息
hadoop fs -df -h / hdfs路径
(16)-du统计文件夹的大小信息
hadoop fs -du -s -h / hdfs路径
hadoop fs -du -h / hdfs路径
(17)-count:统计一个指定目录下的文件节点数量
hadoop fs -count /aaa/
hadoop fs -count / hdfs路径
嵌套文件层级; 包含文件的总数
(18)-setrep:设置hdfs中文件的副本数量:3是副本数,可改
hadoop fs -setrep 3 / hdfs路径

最近太忙了,本来早就该整理了,但是无奈学校大作业和实验太多了,这几个月几乎没有时间。
我整理的比较仓促,有问题可以评论留言。
下一讲,我总结一下java的部分hdfsAPI,不需要用命令行操作啦!!!~~

发布了31 篇原创文章 · 获赞 33 · 访问量 2841

猜你喜欢

转载自blog.csdn.net/qq_40742298/article/details/103653029