Lesson3 Hadoop 伪分布式模式集群运行情况的查看、HDFS文件系统的简单管理操作

一、 集群运行情况的查看:

 1.  输入 netstat -lnpt 此时应看到50070号端口已经开启:

2.   输入主机名 + 端口号即可查看集群运行情况:

对于安装了桌面系统的远程服务器或者本地虚拟机,可以在系统内的浏览器输入如 node1:50070 进行访问。

对于未安装桌面系统的远程服务器,可以输入主机外网ip地址 + 端口号进行访问。 

3.  菜单栏介绍:

Overview:hadoop总览信息。

Datanodes:数据节点的信息。

Datanode Volume Failures: 报错信息。

Snapshot:快照信息。

Startup Progress:启动进程信息。

 Utilities:文件管理及日志查看。

三、 HDFS文件系统的管理操作:

1.  路径的创建及查看:

 进入到hadoop主目录,输入命令

bin/hdfs -mkdir -p /user/root/input

用浏览器访问管理界面,可看到新建的目录

   或者在命令行输入以下命令进行查看

bin/hdfs dfs -ls /    #主目录
bin/hdfs dfs -lsr /   #主目录及子目录

2.  将本地文件上传到hdfs:

bin/hdfs dfs -put /lesson/hadoop/lesson1/wcinput/wc.input /user/root/input

 查看文件信息

   

 3.  运行demo WordCout:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

 查看输出文件,可以进行下载查看

或者输入命令进行查看

bin/hdfs dfs -cat /user/root/output/p*

 

发布了45 篇原创文章 · 获赞 30 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/sinat_40471574/article/details/104861120