hadoop安装，并配置单节点hadoop集群

前言：本文以申威服务器raise系统为例，安装部署hadoop-2.7.3

一、安装Java

在安装 hadoop 之前，请确保你的系统上安装了 Java。使用java -version命令检查已安装 Java 的版本。
申威raise系统中默认安装Java1.7版本，安装路径为：
这里写图片描述
注：要记住该路径，后面配置hadoop时会用到。

二、安装hadoop

1.创建用于 hadoop 安装的系统帐户hadoop

[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd 123456

给创建的hadoop账户root权限：http://www.cnblogs.com/johnw/p/5499442.html
这里写图片描述

[root@localhost ~]# cd /etc
[root@localhost etc]# vim sudoers

这里写图片描述

2.为hadoop账户配置ssh密钥，启用无需密码的ssh登陆

①切换用户

[root@localhost ~]# su - hadoop

②安装ssh软件（申威raise系统中默认已经安装ssh）

[hadoop@localhost ~]# yum install ssh

③生成密钥对(设置登录无密码）

[hadoop@localhost ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

④追加公钥到对方的认证库中

[hadoop@localhost ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@localhost ~]# chmod 0600 ~/.ssh/authorized_keys

⑤测试ssh到localhost（无需密码）

[hadoop@localhost ~]# ssh localhost

3.解压hadoop安装包，并配置hadoop环境变量

①解压hadoop安装包（hadoop-2.7.3.tar.gz）

[hadoop@localhost ~]# cp hadoop-2.7.3.tar.gz /home/hadoop
[hadoop@localhost ~]# tar -zxvf  hadoop-2.7.3.tar.gz
[hadoop@localhost ~]# ls

②编辑 vim ~/.bashrc 文件，并在文件末尾添加以下代码
//注：其中HADOOP_HOME为hadoop-2.7.3.tar.gz的解压目录

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/bin/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

③在当前运行环境中应用更改

[hadoop@localhost ~]# source

④编辑 vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh ，设置 JAVA_HOME 环境变量，添加以下代码：export JAVA_HOME=/usr/lib/jvm/java-1.7.0-swjdk-H2586P.sw_64

[hadoop@localhost ~]# cd hadoop-2.7.3/etc/hadoop
[hadoop@localhost hadoop]# vim hadoop-env.sh

这里写图片描述

4.编辑hadoop配置文件

①[hadoop@localhost hadoop]# vim core-site.xml
这里写图片描述

②[hadoop@localhost hadoop]# vim hdfs-site.xml
这里写图片描述

③[hadoop@localhost hadoop]# vim mapred-site.xml
这里写图片描述

④[hadoop@localhost hadoop-2.7.3]# vim yarn-site.xml
这里写图片描述

5.格式化namenode，并启动hadoop服务

①格式化namenode

[hadoop@localhost hadoop]# hdfs namenode -format

②启动hadoop所有服务

[hadoop@localhost hadoop]# cd /home/hadoop/hadoop-2.7.3/sbin
[hadoop@localhost sbin]# start-dfs.sh
[hadoop@localhost sbin]# start-yarn.sh

③检查所有服务是否正常启动

[hadoop@localhost sbin]# jps

应该看到以下输出。
这里写图片描述

④现在，可在浏览器中访问hadoop服务，http://ip:8088
这里写图片描述

参考文档：
https://mp.weixin.qq.com/s/eGizxYg7npnYVmUQ73SmIw
http://www.powerxing.com/install-hadoop/