hadoop2.x单机环境安装

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ricardo_leite/article/details/72782879

1. 环境准备
   新建hadoop用户
   adduser hadoop
   下载hadoop（下载binary文件，source文件是源码，需要重新编译）
   wget http://apache.claz.org/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
   解压
   tar -xzf hadoop-2.8.0-src.tar.gz

2. 修改配置
   2.1 修改hadoop-env.sh
   默认JAVA_HOME是${JAVA_HOME}，如果未指定环境变量，这里需要替换成Jdk路径
   2.2 修改core-site.xml
   <!– 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 –>

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://10.\**.**.1:9000</value>
  </property>

<!– 指定hadoop运行时产生文件的存储目录 –>

  <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/app/hadoop/tmp</value>
  </property>　　

2.3 修改hdfs-site.xml
<!– 指定HDFS副本的数量 –>

  <property>
     <name>dfs.replication</name>
     <value>1</value>
  </property>　　

2.4 修改yarn-site.xml
<!– Site specific YARN configuration properties ResourceManager的地址 –>

  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>10.\**.**.1</value>
  </property>

<!– reducer获取数据的方式 –>

  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>

2.5 将mapred-site.xml.template重命名为mapred-site.xml
<!– 指定mr运行在yarn上 –>

  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>　　

1. 格式化NameNode
   ./bin/hadoop namenode -format

2. 启动Hadoop两大核心功能：HDFS与YARN
   首先编辑slaves配置文件（这里我们的主节点既是DataNode又是NameNode）：vi slaves -> add 10.**.**.1
   　　启动HDFS：./sbin/start-dfs.sh
   　　启动YARN：./sbin/start-yarn.sh
   　　验证是否启动：jps
   启动之后访问管理界面：
   http://10.**.**.1:50070/

   注意：hadoop启动时会发送ssh指令，指向hadoop机器的ssh端口，默认是22端口，若机器设置了ssh端口，则更改端口配置：
   hadoop-env.sh中新增
   export HADOOP_SSH_OPTS=”-p 21987”