大数据Hadoop集群环境搭建（五）

Hadoop环境搭建Hadoop本地模式安装

Hadoop部署模式
Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式。
区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。

一、本地模型部署
1.本地模式介绍

本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置，默认的就是本地模式。
2.解压hadoop后就是直接可以使用

(1) 创建一个存放本地模式hadoop的目录

[hadoop@hadoop modules]$ mkdir /opt/modules/hadoopstandalone

(2) 解压hadoop文件

[hadoop@hadoop modules]$ tar -zxvf  /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/

(3) 确保JAVA_HOME环境变量已经配置好

[hadoop@hadoop modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.8

二、运行MapReduce程序，验证

我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。

1、 准备mapreduce输入文件wc.input

[hadoop@hadoop modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2、 运行hadoop自带的mapreduce Demo

[hadoop@hadoop hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2

这里可以看到job ID中有local字样，说明是运行在本地模式下的。

3、 查看输出文件

本地模式下，mapreduce的输出是输出到本地。
[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS

输出目录中有_SUCCESS文件说明JOB运行成功，part-r-00000是输出结果文件。