centos8单机(本地模式)部署hadoop

知识了解

单机部署模式介绍

单机(本地模式)是Hadoop的默认部署模式。

当配置文件为空时，Hadoop完全运行在本地。

不需要与其他节点交互，单机(本地模式)就不使用HDFS，也不加载任何Hadoop的守护进程。

该模式主要用于开发调试MapReduce程序的应用逻辑。

 

一、安装jdk1.8

1.下载好jdk1.8并放到root目录下

2.解压到/usr/java下并改名为jkd

mkdir /usr/java
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java
cd /usr/java/
​mv jdk1.8.0_191 jdk
ls

 3.配置环境变量/etc/profile在最后添加

#set java environment
export JAVA_HOME=/usr/java/jdk/
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

二、安装hadoop

1.下载hadoop

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

 

2.解压到/opt目录下

tar -zxvf hadoop-3.2.1.tar.gz -C /opt
cd /opt

 

 3.配置环境变量/etc/profile在最后添加

#HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

4.刷新配置文件使其立刻生效

source /etc/profile

5.编辑配置文件hadoop-env.sh，将JAVA_HOME设置为Java安装根路径。 

vim /opt/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

 

6.测试bin/hadoop

在/opt/hadoop-3.2.1下使用bin/hadoop命令

 

三、单机模式运行测试

1.在/opt/hadoop-3.2.1目录下创建input目录

2.将etc/hadoop下的xml文件拷贝到input文件夹

扫描二维码关注公众号，回复： 12159012 查看本文章

3.在/opt/hadoop-3.2.1目录下通过正则匹配，将匹配项写入output文件夹

sudo bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

 

4.查看输出结果

cat output/*

 

完成！！！