史上最详细的Hadoop环境搭建(二)

第二部分：Hadoop本地模式安装

第四步、Hadoop部署模式

Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。

区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。

模式名称	各个模块占用的JVM进程数	各个模块运行在几个机器数上
本地模式	1个	1个
伪分布式模式	N个	1个
完全分布式模式	N个	N个
HA完全分布式	N个	N个

第五步、本地模式部署

十、本地模式介绍

本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置，默认的就是本地模式。

十一、解压hadoop后就是直接可以使用

1、创建一个存放本地模式hadoop的目录

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone
  
  
   
   1

2、解压hadoop文件

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/
  
  
   
   1

3、确保JAVA_HOME环境变量已经配置好


  
  
   
   
    
    
     
     
    
    
    
    
     
     
      
      [hadoop
      
      @bigdata-senior01 modules]$ echo ${JAVA_HOME}
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      /opt/modules/jdk1
      
      .7
      
      .0_67
     
     
    
    
  
  
  
  
   
   1
   
   2

十二、运行MapReduce程序，验证

我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。

1、准备mapreduce输入文件wc.input


  
  
   
   
    
    
     
     
    
    
    
    
     
     
      
      [hadoop
      
      @bigdata-senior01 modules]$ cat /opt/data/wc.input
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      hadoop mapreduce hive
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      hbase spark storm
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      sqoop hadoop hive
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      spark hadoop
     
     
    
    
  
  
  
  
   
   1
   
   2
   
   3
   
   4
   
   5

2、运行hadoop自带的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
  
  
   
   1

enter image description here

这里可以看到job ID中有local字样，说明是运行在本地模式下的。

3、查看输出文件

本地模式下，mapreduce的输出是输出到本地。


  
  
   
   
    
    
     
     
    
    
    
    
     
     
      
      [hadoop
      
      @bigdata-senior01 hadoopstandalone]$ ll output2
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      total 
      
      4
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      -rw-r--r-- 
      
      1 hadoop hadoop 
      
      60 Jul  
      
      7 
      
      12:
      
      50 part-r-
      
      00000
     
     
    
    
   
   
    
    
     
     
    
    
    
    
     
     
      
      -rw-r--r-- 
      
      1 hadoop hadoop  
      
      0 Jul  
      
      7 
      
      12:
      
      50 _SUCCESS
     
     
    
    
  
  
  
  
   
   1
   
   2
   
   3
   
   4

输出目录中有_SUCCESS文件说明JOB运行成功，part-r-00000是输出结果文件。