安装Hadoop 本地模式测试Hadoop,wordcount

1、cd /opt/softwares         //切换到hadoop压缩包的安装目录下,我的目录在/opt/softwares

      tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules     //将压缩包解压到/opt/modules目录下

      然后有如图所示的错误,则可以忽略,这是因为文件太大导致的,没有影响。

      cd /opt/modules     //切换到我们解压到的目录下,然后查看,发现多了一个我们解压后的hadoop

2、echo $JAVA_HOME      //查看jdk的安装路径,接下来我们要配置hadoop的环境变量需要用到

3、cd /opt/modules/hadoop-2.5.0   //进入到解压后的hadoop目录下

      vi etc/hadoop/hadoop-env.sh     //这里记得提前切换到root用户,然后使用vi进去该目录下

      然后修改环境变量,把上面查到的jdk路径复制下来。

4、上面就已经完成hadoop安装了,接下来我们就来测试一下hadoop单机模式

    mkdir input  //创建一个input文件夹

    cp etc/hadoop/*.xml input     //将etc/hadoop/*.xml 文件拷贝到input文件夹中

    ls input     //查看input文件中有哪些文件,这些文件就是我们刚刚拷贝出来的

5、bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output dfs'[a-z.]+'

//input是输入,output是输出

6、执行成功后查看目录,发现会多出一个output文件夹

      再查看output文件夹,发现该文件夹里面有两个文件

     cat output/part-r-00000   //查看该文件的内容,内容如下。

7、接下来我们再测试一个统计单词的

     touch wc.text    //首先,我们先创建一个输入文件

     vi wc.text   //然后我们编辑该文件,随便输入一些单词

8、bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wc.text wcoutput

然后输入该命令运行,wc.text文件作为输入文件,wcoutput作为输出文件

9、执行成功后,我们查看会发现多了一个wcouput文件,该文件下也有两个文件

cat wcoutput/part-r-00000    //查看该文件的内容

内容如下图所示,统计我们wc.text文件输入的单词出现的次数,a出现了3次,am出现了1次..........

到此我们hadoop单机模式就已经成功了。

猜你喜欢

转载自blog.csdn.net/happytjl/article/details/89041628