一、 集群运行情况的查看:
1. 输入 netstat -lnpt 此时应看到50070号端口已经开启:
2. 输入主机名 + 端口号即可查看集群运行情况:
对于安装了桌面系统的远程服务器或者本地虚拟机,可以在系统内的浏览器输入如 node1:50070 进行访问。
对于未安装桌面系统的远程服务器,可以输入主机外网ip地址 + 端口号进行访问。
3. 菜单栏介绍:
Overview:hadoop总览信息。
Datanodes:数据节点的信息。
Datanode Volume Failures: 报错信息。
Snapshot:快照信息。
Startup Progress:启动进程信息。
Utilities:文件管理及日志查看。
三、 HDFS文件系统的管理操作:
1. 路径的创建及查看:
进入到hadoop主目录,输入命令
bin/hdfs -mkdir -p /user/root/input
用浏览器访问管理界面,可看到新建的目录
或者在命令行输入以下命令进行查看
bin/hdfs dfs -ls / #主目录
bin/hdfs dfs -lsr / #主目录及子目录
2. 将本地文件上传到hdfs:
bin/hdfs dfs -put /lesson/hadoop/lesson1/wcinput/wc.input /user/root/input
查看文件信息
3. 运行demo WordCout:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output
查看输出文件,可以进行下载查看
或者输入命令进行查看
bin/hdfs dfs -cat /user/root/output/p*