1. Purpose
Preliminary understanding of Hadoop, understand Hadoop.
2. Experimental Platform
Operating System: Windows + Vmware
3. experimental content and requirements
JDK Linux system installation and configuration;
HelloWorld under Linux system;
Hadoop Distributed standalone configuration and testing;
4. Experimental Report
JDK Linux system installation and configuration;
First jkd file copying linux system / simple directory
Implementation of tar -xvf jdk-8u191-linux-x64.tar.gz
Edit / etc / profile file
Implementation of source / etc / profile
Implementation of java, javac, java -version view is correct
HelloWorld under Linux system;
Execute cd / simple
Execute vi HelloWorld.java follows
public class HelloWorld {
public static void main(String[] args) {
System.out.println("HelloWorld");
}
}
HelloWorld completed under Linux
Hadoop Distributed standalone configuration and testing;
First Hadoop file copying / under simple
执行 tar -xvf hadoop-2.7.1.tar.gz
Edit / etc / profile file
Execution source / etc / profile
Switch to the directory /simple/hadoop-2.7.1/etc/hadoop
编辑hadoop-env.sh文件，在文件内添加export JAVA_HOME=/simple/jdk1.8.0_191/
在/simple/hadoop-2.7.1/bin下新建一个input目录mkdir input
将/simple/hadoop-2.7.1/etc/hadoop目录下所有以.xml文件拷贝到/simple/input下
命令为cp /simple/hadoop-2.7.1/etc/hadoop/*.xml input
执行hadoop jar /simple/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'number' 这条命令是查找一下input目录文件内容中number出现的次数，将结果保存在output目录下part-r-00000文件中，查看一下
显示出现五次，我们用命令产看一下结果对不对
发现number出现的次数就是五次，
Hadoop单机分布式配置与测试到这就完成了。
Hadoop伪分布式配置与测试；
这个实验在上个实验基础上做，
在 $HADOOP_HOME/etc/hadoop 目 录 下 执 行 编辑core-site.xml配 置 文 件
修改 core-site.xml 的 内容如下
在 $HADOOP_HOME/etc/hadoop 目 录 下 执 行编辑 hdfs-site.xml 并 修 改 配 置 文 件 hdfs-site.xml修改内容如下
在$HADOOP_HOME/etc/hadoop 目录下查看是否有配置文件 mapred-site.xml。目录下 默 认 情 况 下 没 有 该 文 件 ， 可 通 过 执 行 如 下 命 令 ： cp mapred-site.xml.template mapred-site.xml备份文件并重命名，然后执行编辑文件mapred-site.xml 并修 改该文件
内容如下
在$HADOOP_HOME/etc/hadoop 目录下编辑yarn-site.xml配置文件内容如下
格式化 namenode。在任意目录下执行如下命令进行格式化：hdfs namenode -format 或者 hadoop namenode -format 。 如图 所示
启动 hadoop， 首先启动 hdfs：start-all.sh输入密码就行了
完成后输入jps
测 试 hdfs 和 yarn （ 推 荐 火 狐 浏 览 器 ）， 首 先 在 浏 览 器 地 址 栏 中 输 入 ：
http://192.168.125.128:50070 （HDFS 管理界面）（本 IP 为自己虚拟机上面的 IP，端口不变）
在浏览器的地址栏中输入：http://192.168.125.128:8088 （MR 管理界面）（本 IP 为自
己虚拟机上面的 IP，端口不变）。如图 所示
Hadoop伪分布式配置与测试完成
5.实验总结
Jdk的配置与HelloWorld的编写很简单，大家曾经都做过，应该不会有问题。Hadoop单机分布式配置与测试，这个配置很简单，就配置一下环境变量，可能有人在最后一步执行命令出现地址解析错误，修改一下/etc/hosts问价，将127.0.0.1指向本机主机名就行了。