centos7 搭建Hadoop单机版

配置java环境

这里配置的jdk1.8

https://blog.csdn.net/qq_41020714/article/details/88529827


上述准备工作做好后

一:创建Hadoop账号

1. 通过useradd添加用户(创建新用户hadoop):

useradd -m hadoop -s /bin/bash

2.为新用户设置密码

passwd hadoop

3.给Hadoop用户添加管理员权限

visudo

找到root ALL=(ALL)ALL这一行,一般在98行附近,然后在这一行下面增加指令:

查看行数:

:set nu

hadoop  ALL=(ALL)       ALL    #中间的间隔为tab

保存退出

4.切换到Hadoop用户

su hadoop

二:配置SSH无密码登陆

1.检查服务器上是否安装和SHH client、SHH server:

rpm -qa | grep ssh

如上图就不用安装,否则,可以通过yum进行安装:

sudo yum –y install openssh-clients

sudo yum –y install openssh-clients

2.测试SHH是否可用

ssh localhost

首次登陆会有提示,输入yes即可,然后按提示输入账号密码即可。

上述有密码登陆的方式

3.配置SHH无密码登陆:

输入exit回到原先的终端命令窗口,执行以下命令:

cd ~/.ssh/                             #若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa                     #会有提示,都按回车就可以
cat id_rsa.pub >> authorized_keys     #加入授权
chmod 600 ./authorized_keys             #修改文件权限

三:安装配置hadoop单机版

1.下载hadoop 2.6.5

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/

2.pwd查看当前目录,将压缩包上传到此目录下

3.解压

我选择将hadoop安装至/usr/local/中:

sudo tar -zxf /home/hadoop/hadoop-2.6.5.tar.gz -C /usr/local

4.解压成功后进入/usr/local中查看

cd /usr/local/

5.更改文件名

sudo mv ./hadoop-2.6.5/ ./hadoop

6.修改文件权限

sudo chown -R hadoop:hadoop ./hadoop

7.Hadoop 解压后即可使用。依次输入如下命令来检查 hadoop 是否可用,成功则会显示 Hadoop 版本信息。

cd /usr/local/hadoop #去到hadoop目录

./bin/hadoop version #检查hadoop是否可以使用

四:进行单机版测试

Hadoop 默认模式为非分布式模式,不需要进行其他任何配置即可运行。非分布式即单 Java 进程,方便进行调试。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

可以看到所有例子,包括wordcount、terasort、join、grep等:

为了测试,我们选择运行一个 grep 例子(查找),将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

1.cd到hadoop目录下:

cd /usr/local/hadoop

2.新建一个input文件夹:

mkdir input

3.将配置文件作为输入文件:

cp ./etc/hadoop/*.xml ./input

4.筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,并输出到output文件夹

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  grep ./input/ ./output 'dfs[a-z.]+'

5.查看output中的运行结果:

cat ./output/*

出现结果则hadoop单机版就配置成功!

参考文献:https://blog.csdn.net/qq_41521180/article/details/88311299

猜你喜欢

转载自blog.csdn.net/qq_41020714/article/details/88530288