Linux系统下安装Hadoop并测试MapReduce

首先我们需要在网上下载Linux系统,我在这次安装过程中使用的CentOS-7系统

CentOS-7镜像文件下载地址: https://www.centos.org/download/

1.  选择好自己需要的版本

2.  安装CentOS系统,并安装图形化界面,方便操作

打开VMware,选择创建新的虚拟机

选择好虚拟机位置

然后一直点击下一步到安装完成。

开机后我们选择第一项,直接安装

选择网络和主机名,配置好网关

直接点击打开就好

再选择上图中的安装位置,直接进去点击完成就好,然后点击开始安装,并为虚拟机配置密码。

安装完成后点击重启。

接下来安装图形化界面,安装时间比较久。

执行命令: (中途若遇到黑屏无显示直接敲回车)

yum groupinstall "X Window System"

显示complete则说明安装成功

执行命令:yum groupinstall “GNOME Desktop”

输入startx进行图形化界面。(可能需要重启)

这样CentOS安装就完成了。接下来需要配置jdk

jdk下载地址: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

选择Linux系统版本的下载。

3.  Jdk的安装配置

下载好后解压: tar -zxvf jdk-8u191-linux-x64.tar.gz -C /root/training/     或者   tar -zxvf jdk-8u191-linux-x64.tar.gz

配置环境: vim /etc/profile

在最后面添加:

#java environment

    export JAVA_HOME=/root/training/jdk1.8.0_191

    export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

    export PATH=$PATH:${JAVA_HOME}/bin

4.  Hadoop安装以配置

下载后解压: tar -zxvf hadoop-2.9.2.tar.gz -C /root/training/     或则  tar -zxvf hadoop-2.9.2.tar.gz

环境配置: vi ~/.bash_profile

最后面添加:

JAVA_HOME=/root/training/jdk1.8.0_191

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

HADOOP_HOME=/root/training/hadoop-2.9.2

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

让配置文件生效: source ~/.bash_profile

 

hadoop本地模式配置:

cd  /root/training/hadoop-2.9.2/etc/hadoop/

vim hadoop-env.sh

mapreduce测试wordcount

cd /root/training/hadoop-2.9.2/share/hadoop/mapreduce/

创建输入输出文件和文件夹

mkdir -p /root/data/input

mkdir -p /root/data/output

vi /root/data/input/data.txt

写入语段用于测试

hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /root/data/input/data.txt /root/data/output/wc.txt

统计结果

其他两个也是一样的语法进行测试

wordmean测试

wordmedian测试

这样Hadoop本地模式就配置完成了

猜你喜欢

转载自blog.csdn.net/chen_hao_181/article/details/84453804
今日推荐