Ubuntu下安装Hadoop详解（单机模式+伪分布模式）

一.安装须知

Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用。如果需安装 0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。自学建议安装最新版本，目前是hadoop2.7.2
单机模式&&伪分布模式
- 单机模式（standalone）
  单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。**该模式主要用于开发调试**MapReduce程序的应用逻辑。
  - 伪分布模式（Pseudo-Distributed Mode）
    伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。
- 全分布模式（Fully Distributed Mode）
  Hadoop守护进程运行在一个集群上。

二.开始安装

1.前期准备

[1]将下载好的jdk压缩包jdk-7u79-linux-x64.tar复制到目录/app/complied下，并解压至路径/usr/local/java下面

hadoop@hadoop1:~$ cd /app  进入app目录下
hadoop@hadoop1:~$ /app mkdir complied  创建complied目录
root@hadoop1:cd /home/hadoop  进入jdk安装包所在目录
root@hadoop1:/home/hadoop# cp jdk-7u79-linux-x64.tar /app/compied 复制jdk安装包至目录/app/complied下
root@hadoop1:/app/complied# tar -zxvf jdk-7u79-linux-x64.tar 解压安装包
root@hadoop1:/app/complied# mv jdk1.7.0_79 /usr/local/java 移动解压文件

[2]将下载好的hadoop压缩包hadoop-2.2.0-64bit.tar.gz复制到目录/app/complied下，并解压至路径/usr/local/hadoop下面

root@hadoop1:~# cd /home/hadoop  进入hadoop安装包所在目录
root@hadoop1:/home/hadoop# cp hadoop-2.2.0-64bit.tar.gz /app/compied 复制hadoop安装包至目录/app/complied下
root@hadoop1:/app/complied# tar -zxvf hadoop-2.2.0-64bit.tar.gz 解压安装包
root@hadoop1:/app/complied# mv hadoop2.2.0 /usr/local/hadoop 移动解压文件

2.创建hadoop用户组和hadoop用户

root@hadoop1:~# sudo addgroup hadoop  创建用户组
root@hadoop1:~# sudo adduser --ingroup hadoop hadoop 在hadoop用户组中创建用户hadoop
root@hadoop1:~# sudo adduser hadoop sudo 创建hadoop用户

3.安装SSH、配置SSH无密码登陆

由于Hadoop用ssh通信，先安装ssh

hadoop@hadoop1:~$ sudo apt-get install openssh-server

ssh安装完成以后，先启动SSH服务

hadoop@hadoop1:~$ sudo /etc/init.d/ssh start

启动后，可以通过如下命令查看服务是否正确启动：

hadoop@hadoop1:~$ ps -e | grep ssh

作为一个安全通信协议，使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥：

hadoop@hadoop1:~$ ssh-keygen -t rsa -P ""

这里写图片描述

第一次操作时会提示输入密码，按Enter直接过，这时会在～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥，现在我们将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：

hadoop@hadoop1:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

现在可以登入ssh确认以后登录时不用输入密码：

hadoop@hadoop1:~$ ssh localhost

登出：

hadoop@hadoop1:~$ exit

4.安装配置Java环境
- 安装openjdk

hadoop@hadoop1:~$ sudo apt-get install openjdk-8-jdk

安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令：

hadoop@hadoop1:~$ dpkg -L openjdk-7-jdk | grep '/bin/javac'

我们需要的路径为 /usr/lib/jvm/java-8-openjdk-amd64
接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

hadoop@hadoop1:~$ vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64   #jdk的安装路径

接着还需要让该环境变量生效，执行如下代码：

source ~/.bashrc    #使变量设置生效

测试是否配置成功

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

这里写图片描述

安装的jdk

前面准备部分已经将jdk压缩包解压后的文件复制到/usr/local/java目录中，按照openjdk的环境变量配置方式配置即可。

5.安装配置hadoop环境

hadoop解压目录为/usr/local/hadoop,修改hadoop用户对hadoop文件夹的读写权限

hadoop@hadoop1：~$ sudo chown 774 hadoop ./hadoop

设定hadoop-env.sh(Java 安装路径)
进入./etc/hadoop目录，打开hadoop-env.sh，添加以下信息：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 (openjdk的默认安装路径)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。

现在我们可以执行例子来感受下Hadoop的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选��运行 wordcount例子，我们将input文件夹中的所有文件作为输入，筛选当中单词并统计出现的次数，最后输出结果到output文件夹中。

hadoop@hadoop1:/usr/local/hadoop$ cd /usr/local/hadoop
hadoop@hadoop1:/usr/local/hadoop$ mkdir ./input
hadoop@hadoop1:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output 
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*          # 查看运行结果

解释命令：

bin/hadoop jar（使用hadoop运行jar包）hadoop-mapreduce-examples..jar（代表版本号）wordcount（要使用的类，后边的是参数）input output‘dfs[a-z.]+’整个就是运行hadoop示例程序中的wordcount，对应的hdfs上的输入目录为input、输出目录为output。

==注意：Hadoop默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。==

hadoop@hadoop1:/usr/local/hadoop$ rm -r ./output

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的Java进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是HDFS 中的文件。

Hadoop 的配置文件位于/usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件core-site.xml 和 hdfs-site.xml。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件core-site.xml (通过 gedit 编辑会比较方便:gedit ./etc/hadoop/core-site.xml)

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改配置文件 hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

Hadoop配置文件说明

====Hadoop 的运行方式是由配置文件决定的====（运行Hadoop时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

此外，伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为/tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行format才行。所以我们进行了设置，同时也指定dfs.namenode.name.dir和dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
配置完成后，执行 NameNode 的格式化:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs namenode -format

接着开启 NameNode 和 DataNode 守护进程。

hadoop@hadoop1:/usr/local/hadoop$ ./sbin/start-dfs.sh

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
这里写图片描述

安装Hadoop集群
参考：http://www.linuxidc.com/Linux/2015-02/113486.htm

三.测试并运行实例

1.单机模式之wordcount实例

hadoop@hadoop1:/usr/local/hadoop$ cd /usr/local/hadoop
hadoop@hadoop1:/usr/local/hadoop$ mkdir ./input
hadoop@hadoop1:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input  #将配置文件作为输入文件
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output 
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*          # 查看运行结果

2.伪分布模式之grep实例

上面的单机模式，wordcount 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -mkdir -p /user/hadoop

注意：创建的用户目录不能直接在系统中查看，因为hadoop创建的是逻辑上的目录，必须在hadoop上才能查看。查看命令如下：

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -ls /

接着将 ./etc/hadoop 中的 xml文件作为输入文件复制到分布式文件系统中，即将/usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input中。我们使用的是hadoop用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir input
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看文件列表：

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoopjar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -cat output/*

这里写图片描述

运行结果还可以取回本地

hadoop@hadoop1:/usr/local/hadoop$ rm -r ./output    # 先删除本地的 output 文件夹（如果存在）
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*

Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

==备注：./bin/hdfs dfs = ./bin/hadoop fs==

关闭 Hadoop

hadoop@hadoop1:/usr/local/hadoop$ ./sbin/stop-dfs.sh

注意
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！

3.启动YARN

新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。

YARN 是从 MapReduce 中分离出来的，==负责资源管理与任务调度==。YARN 运行于 MapReduce 之上，提供了==高可用性==、==高扩展性==，上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：

hadoop@hadoop1:/usr/local/hadoop$ mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再进行编辑，同样使用 gedit 编辑会比较方便些 gedit ./etc/hadoop/mapred-site.xml ：

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

接着修改配置文件 yarn-site.xml：

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）：

hadoop@hadoop1:/usr/local/hadoop$ ./sbin/start-yarn.sh      # 启动YARN
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

这里写图片描述
- 开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过Web界面查看任务的运行情况：http://localhost:8088/cluster，如下图所示。

但 YARN 主要是为集群提供更好的资源管理与任务调度，然而这在单机上体现不出价值，反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。

备注：不启动 YARN 需重命名 mapred-site.xml

如果不想启动 YARN，务必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。

关闭 YARN 的脚本如下：

hadoop@hadoop1:/usr/local/hadoop$ ./sbin/stop-yarn.sh
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh stop historyserver

四.总结

花了一整天的时间，终于把这篇博客写完了，对hadoop的环境配置和工作工程有了一个初步的认识了，尤其对hdfs文件系统了有了初步的感觉，同时Linux的使用又熟练一些，在这里感谢网络上的各个小伙伴的帮助，之后会继续跟进Hadoop相关的内容。

下面关于Hadoop的文章您也可能喜欢，不妨看看：