hdfs&mapreduce测试

hdfs&mapreduce测试：
【针对hdfs做如下测试操作】
（1）确保配置全部正确的情况下，主机浏览器访问虚拟机centos的hadoop(我本地Hadoop版本2.6.5，配置虚拟机名为weekend110，且主机hosts已添加：192.168.X.129 weekend110):
http://weekend110:50070
(2)首先测试主机文件上传至hdfs，以及删除本地文件，从hdfs下载文件至本地；
相关操作命令：
【上传至hdfs】
[hadoop@weekend110 ~]$ hadoop fs -put jdk-7u67-linux-x64.tar.gz hdfs://weekend110:9000/
【访问hdfs，查看页面内容】：

【下载hdfs文件至本机，相关操作命令】
hadoop fs -get hdfs://weekend110:9000/jdk-7u67-linux-x64.tar.gz
【查看本地文件是否存在】

【针对mapreduce做如下测试操作】
描述：测试mapreduce能不能跑，需要我们写mapreduce程序，在这里还没到这一步，我们可以借助一个线程去跑，在hadoop安装包中为我们提供了很多例子程序，我们可以通过cd到相应文件目录下去运行观察例子程序结果；
【操作命令】
(1)cd app/hadoop-2.4.1/ #hadoop安装目录
(2)ll
(3)cd share/
(4)ll
(5)cd hadoop
(6)ll
(7)cd mapreduce/
(8)ll

注：jar包中包含很多程序，接下来我们运行这个jar包：(选择一个计算圆周率的程序)
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5


有兴趣的小伙伴可以尝试使用：【wordcount例子】去计算一个文档单词出现的总次数；这样演示测试效果会更清楚。
采用集群思想：因此将文件（test.txt）放入hdfs作为测试数据来源

上图命令解释：
（1）/wordcount（为hdfs路径hdfs://weekend110:9000/wordcount简写）,首先创建一个文件夹为wordcount；
（2）在wordcount下继续创建文件夹input；
（3）将本地测试文件上传至hdfs的input文件夹下
（4）运行wordcount程序：指定文件路径，及结果输出路径为output
结果写进文件