实验10. Hadoop环境搭建

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/shuai0845/article/details/84843053

1.实验目的

初步认识Hadoop,了解Hadoop。

2.实验平台

操作系统:Windows+Vmware

3.实验内容和要求

Linux系统JDK的安装和配置;

Linux系统下的HelloWorld;

Hadoop单机分布式配置与测试;

4.实验报告

Linux系统JDK的安装和配置;

首先将jkd文件拷到linux系统/simple目录下

执行tar -xvf jdk-8u191-linux-x64.tar.gz

编辑/etc/profile文件

执行source /etc/profile

执行java,javac,java –version查看是否正确

Linux系统下的HelloWorld;

执行cd /simple

执行vi HelloWorld.java内容如下

public class HelloWorld {

public static void main(String[] args) {

System.out.println("HelloWorld");

}

}

Linux下HelloWorld完成

Hadoop单机分布式配置与测试;

先将Hadoop文件拷到/simple下

执行tar -xvf hadoop-2.7.1.tar.gz

编辑/etc/profile文件

执行执行source /etc/profile

切换到/simple/hadoop-2.7.1/etc/hadoop目录下

编辑hadoop-env.sh文件,在文件内添加export JAVA_HOME=/simple/jdk1.8.0_191/

 

在/simple/hadoop-2.7.1/bin下新建一个input目录mkdir input

将/simple/hadoop-2.7.1/etc/hadoop目录下所有以.xml文件拷贝到/simple/input下

命令为cp /simple/hadoop-2.7.1/etc/hadoop/*.xml  input

执行hadoop jar /simple/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep  input output 'number' 这条命令是查找一下input目录文件内容中number出现的次数,将结果保存在output目录下part-r-00000文件中,查看一下

显示出现五次,我们用命令产看一下结果对不对

发现number出现的次数就是五次,

Hadoop单机分布式配置与测试到这就完成了。

Hadoop伪分布式配置与测试;

这个实验在上个实验基础上做,

在 $HADOOP_HOME/etc/hadoop 目 录 下 执 行 编辑core-site.xml配 置 文 件

修改 core-site.xml 的 内容如下

在 $HADOOP_HOME/etc/hadoop 目 录 下 执 行编辑 hdfs-site.xml 并 修 改 配 置 文 件 hdfs-site.xml修改内容如下

    在$HADOOP_HOME/etc/hadoop 目录下查看是否有配置文件 mapred-site.xml。目录下 默 认 情 况 下 没 有 该 文 件 , 可 通 过 执 行 如 下 命 令 : cp mapred-site.xml.template mapred-site.xml备份文件并重命名,然后执行编辑文件mapred-site.xml 并修 改该文件

内容如下

在$HADOOP_HOME/etc/hadoop 目录下编辑yarn-site.xml配置文件内容如下

格式化 namenode。在任意目录下执行如下命令进行格式化:hdfs namenode -format 或者 hadoop namenode -format 。 如图  所示

启动 hadoop, 首先启动 hdfs:start-all.sh输入密码就行了

完成后输入jps

测 试 hdfs 和 yarn ( 推 荐 火 狐 浏 览 器 ), 首 先 在 浏 览 器 地 址 栏 中 输 入 :

http://192.168.125.128:50070 (HDFS 管理界面)(本 IP 为自己虚拟机上面的 IP,端口不变)

在浏览器的地址栏中输入:http://192.168.125.128:8088 (MR 管理界面)(本 IP 为自

己虚拟机上面的 IP,端口不变)。如图 所示

Hadoop伪分布式配置与测试完成

5.实验总结

              Jdk的配置与HelloWorld的编写很简单,大家曾经都做过,应该不会有问题。Hadoop单机分布式配置与测试,这个配置很简单,就配置一下环境变量,可能有人在最后一步执行命令出现地址解析错误,修改一下/etc/hosts问价,将127.0.0.1指向本机主机名就行了。

猜你喜欢

转载自blog.csdn.net/shuai0845/article/details/84843053
10.