ubuntu16.04搭建hadoop2.7.1伪分布式环境

环境配置

ubuntu16.04， jdk1.8.0_242，hadoop2.7.1

步骤

1. 创建hadoop用户，并赋予管理员权限

登录linux，在终端输入：

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

2. 切换至hadoop用户（接下来的操作均在hadoop用户进行），并更新apt

sudo su hadoop
sudo apt-get update

3. 安装ssh，设置免密登录

sudo apt-get install openssh-server

创建一个新的密钥：

ssh-keygen -t rsa -P ""

出现选项时输入括号内路径或直接回车：

将生成的密钥加入到授权中并使用ssh连接localhost：

cat /home/hadoop/.ssd/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
ssh localhost

4. 安装jdk[3]

sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version

这里简易安装，环境变量配置参考[4]。

5. 安装hadoop

选择对应版本下载：

https://archive.apache.org/dist/hadoop/common/

这里我选择的是 hadoop-2.7.1.tar.gz ：

在想要存放该解压文件的地方新建文件夹，如 /opt/hadoop ：

sudo mkdir hadoop

在该压缩文件所在目录打开终端，输入：

sudo tar -zxf hadoop-2.7.1.tar.gz -C /opt/hadoop    # 解压至路径/opt/hadoop下
cd /opt/hadoop
sudo mv ./hadoop-2.7.1/ ./hadoop                    # 修改文件夹名称
sudo chown -R hadoop ./hadoop                       # 修改权限

6. hadoop伪分布式配置

（1）添加环境变量：

vim ~/.bashrc

若出现下图所示情况，需要先安装vim：

sudo apt install vim

再打开的 bashrc 文件中末尾处添加：

export HADOOP_HOME=/opt/hadoop/hadoop
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin

其中，vim使用方法参考[5]；

JAVA_HOME路径为jdk的安装路径，如不知道路径，可参考[6]获取。

执行下述命令，使变动生效，无需重启：

source ~/.bashrc

（2）配置关联HDFS：

vim /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

在对应位置添加 JAVA_HOME： （这步应该不需要）

修改配置文件 core-site.xml：

cd /opt/hadoop/hadoop/etc/hadoop
vim core-site.xml

<configuration>
    <property>
    <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改 hdfs-site.xml：

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 

（3）Map Reduce 配置

修改 mapred-site.xml：

vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>localhost:9001</value>
    </property>
</configuration>

 （4）格式化hdfs

cd /opt/hadoop/hadoop
./bin/hdfs namenode -format

 出现下图即为成功：

开启hdfs和yarn，中间出现选项时选yes：

./sbin/start-dfs.sh
./sbin/start-yarn.sh

jps # 查看是否启动成功

 

关闭进程：

./sbin/stop-dfs.sh
./sbin/stop-yarn.sh

至此配置成功，后续继续补充。 

参考文档

[1] Ubuntu16.04下安装Hadoop2.7.4伪分布式环境

[2] Ubuntu16.04+hadoop2.7.3环境搭建

[3] Ubuntu16.04安装JDK

[4] apt-get install jdk下的JAVA_HOME的配置

[5] Linux vi/vim | 菜鸟教程

[6] 环境部署（四）：Linux下查看JDK安装路径