问题导读

进行配置前，需要安装JDK，创建dhu用户，配置Hadoop环境变量
了解YARN框架和MR的区别
解答Hadoop或者Datanode无法正常启动

安装ssh

sudo apt-get install ssh

配置可以免密码登陆本机

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这条命令完成后，会在当前文件夹下面的.ssh文件夹下创建id_dsa和id_dsa.pub两个文件，这是SSH的一对私钥和公钥，把id_dsa.pub（公钥）追加到授权的key中去。

关于这两个命令的详细解释可参考云技术基础：集群搭建SSH的作用及这些命令的含义

输入ssh localhost，显示登陆成功信息。

配置Hadoop伪分布式模式

我这里的Hadoop全路径是:/usr/hadoop/hadoop-2.7.2/

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop 的配置文件位于全路径的/etc/hadoop/ 中(注意，不是系统的etc目录下)，伪分布式需要修改2个配置文件* core-site.xml 和 hdfs-site.xml *。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

配置hadoop环境文件

进入haddop安装文件的配置文件目录etc/hadoop
打开文件，找到某行有”# export JAVA_HOME = …”字样的地方，去掉“#”，然后在等号后面填写你自己的JDK路径，比如像我自己的JDK路径，那就改为了如下所示

export JAVA_HOME=/usr/lib/jvm/java8

**TIPS：如果你不小心忘了JDK路径也没关系，使用whereis java或者echo $JAVA_HOME
就可以看到你的jdk安装路径**

配置Hadoop的核心文件core-site.xml

打开文件，会发现标签中是空的，在空的地方添加如下配置

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/hadoop/hadoop-2.7.2/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml:

添加如下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop/hadoop-2.7.2/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hadoop-2.7.2/tmp/dfs/data</value>
    </property>
</configuration>

Hadoop配置文件说明

Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

格式化Hadoop文件系统HDFS并启动Hadoop

首次运行hadoop必须进行格式化Hadoop文件系统，以后运行即可跳过
格式化文件系统
打开命令行，进入安装Hadoop的文件路径下，然后在命令行输入bin/hadoop namenode -format
启动Hadoop:
在命令行里面输入sbin/start-dfs.sh
验证是否正常启动
在命令行里面输入jps，然后回车，如果在命令行里面出现如下类似画面则说明已经正常启动。（因为前面的数字可以不同）
关闭Hadoop
在Hadoop安装的文件夹路径下面在命令行输入
sbin/stop-dfs.sh

配置YARN(可选)

YARN 是 Hadoop 2.x 中的内容，（伪分布式不启动 YARN 也可以，一般不会影响程序执行）

上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

Hadoop中MapReduce的配置文件为mapred-site.xml
默认情况下，etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。

1.首先复制配置文件 mapred-site.xml.template

cp mapred-site.xml.template mapred-site.xml

2.然后再进行编辑：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.接着修改配置文件 yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>

4.然后就可以启动 YARN 了

注意：需要先执行过 ./sbin/start-dfs.sh

./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示:

不启动 YARN 需重命名 mapred-site.xml
如果不想启动 YARN，务必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。

5.关闭 YARN：

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

运行Hadoop伪分布式实例

伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，

首先需要在 HDFS 中创建用户目录

./bin/hdfs dfs -mkdir -p /user/dhu

其中-p代表如果没有父目录，则新建一个

注意:
Hadoop实际上有三种shell命令方式。
1. hadoop fs
2. hadoop dfs
3. hdfs dfs
hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs只能适用于HDFS文件系统
hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

接着将 ./etc/hadoop 中的 xml复制到分布式文件系统中

即将/usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。

注意：由于我们使用的是 dhu 用户，并且上一步已创建相应的用户目录 /user/dhu ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看文件列表：

./bin/hdfs dfs -ls input

查找dfs开头的xml

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令

这里查看的是位于 HDFS 中的输出结果

./bin/hdfs dfs -cat output/*

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

我们也可以将运行结果取回到本地：

rm -r ./output    # 先删除本地的 output 文件夹（如果存在）
./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机
cat ./output/*

注意：
Hadoop 运行程序时，输出目录不能存在，否则会提示错误。因此若要再次执行，需要执行如下命令删除 output 文件夹:

/bin/hdfs dfs -rm -r output    # 删除 output 文件夹

关闭 Hadoop

./sbin/stop-dfs.sh

注意:
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行./sbin/start-dfs.sh就可以！

遇到的问题

Hadoop无法正常启动的解决方法:

一般可以查看启动日志来排查原因，注意几点：
1. 启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
2. 每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，对比下记录的时间就知道了。
3. 一般出错的提示在最后面，通常是写着 Fatal、Error、Warning 或者 Java Exception 的地方。

针对 DataNode 没法启动的解决方法

此外，若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：

./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

调试Hadoop

开启debug：export HADOOP_ROOT_LOGGER=DEBUG,console
再执行hadoop命令

Reference:

厦门大学Hadoop伪分布式安装教程

Hadoop单节点伪分布式配置