centos7系统单机安装部署hadoop2.6.5

今天单机安装部署Hadoop，就顺便记录一下安装过程

1 首先需要下载jdk和hadoop的安装包

我安装的版本是Hadoop-2.6.5.tar.gz（注意不要下载成hadoop-2.6.5-src.tar.gz）和jdk-8u162-linux-x64.tar.gz

2 安装jdk

检查并卸载OpenJDK

第一步检查系统是否自带了OpenJDK以及相关安装包，如果有的话则应先将其卸载。
检查命令：

java -version（查看版本，使用这个命令就可以）
或
rpm -qa | grep java（查看所有安装的软件包中带有Java的）

如果发现有安装好的OpenJDK以及安装包的话那么首先依次执行卸载。

卸载命令：

yum -y remove ...(省略号为java安装包名称)
或

rpm -e -–nodeps tzdata-java-2012c-1.el6.noarch
rpm -e -–nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64（务必注意–nodeps前的两个横杠）

现在便可以进行安装

1）将jdk-8u162-linux-x64.tar.gz移动到了home文件夹下解压，并将其重命名为Java

2）配置环境变量

#set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使配置文件生效：source /etc/profile

输入java -version看是否安装成功

如上图所示正常显示了jdk版本，到此为止就已经安装成功了。

3 安装hadoop

1）将Hadoop-2.6.5.tar.gz移到home文件夹下解压，并重命名为hadoop

2）配置hadoop

a.修改/usr/hadoop/etc/hadoop/hadoop-env.sh 文件的java环境，将java安装路径加进去

export JAVA_HOME=/usr/java/jdk1.8.0_162

b.配置hadoop环境变量

export HADOOP_HOME=/usr/hadoop/

export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

使用source /etc/profile使更改后的配置文件生效

c.修改/usr/hadoop/etc/hadoop/core-site.xml 文件

<configuration>
 <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

d.修改/usr/hadoop/etc/hadoop/hdfs-site.xml

<configuration>  
    <property>  
        <name>dfs.name.dir</name>  
        <value>/usr/hadoop/hdfs/name</value>  
        <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
  
    <property>  
        <name>dfs.data.dir</name>  
        <value>/usr/hadoop/hdfs/data</value>  
        <description>datanode上数据块的物理存储位置</description>  
    </property>  
  
  
    <!-- 设置hdfs副本数量 -->  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
</configuration>

e.ssh免密登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
chmod 0600 ~/.ssh/authorized_keys

f.hdfs启动与停止

第一次启动hdfs需要格式化

在hadoop文件夹下执行 ./bin/hdfs namenode -format命令进行格式化

hdfs启动：start-dfs.sh hdfs停止命令：stop-dfs.sh

若在启动hdfs时出现Unable to load native-hadoop library for your platform...提示hadoop不能加载本地库。

若程序和操作系统都是64位的，那也许就是少了些配置，试试下面的方法：

首先在bashrc中加入如下配置：

vim ~/.bashrc

配置如下

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/home/hadoop/
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"使上面配置生效：

source ~/.bashrc

再去执行启动dfs/yarn，成功解决了我的问题

g.浏览器输入：http://192.168.136.140:50070 （IP为自己系统的地址）

h.接下来配置yarn文件

配置/usr/hadoop/etc/hadoop/mapred-site.xml 。这里注意一下，hadoop里面默认是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template 重命名为mapred-site.xml 。

mv mapred-site.xml.template mapred-site.xml

配置mapred-site.xml文件

<configuration>  
    <!-- 通知框架MR使用YARN -->  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
</configuration>

配置/usr/hadoop//etc/hadoop/yarn-site.xml文件

<configuration>  
    <!-- reducer取数据的方式是mapreduce_shuffle -->  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  
</configuration>

启动yarn ：start-yarn.sh 停止yarn：stop-yarn.sh

i.验证Hadoop安装

浏览器输入http://192.168.136.140:8088 （8088是默认端口）

可以用jps命令查看启动了什么进程：