安装hadoop以及部署本地模式(单词词数统计程序）

 

准备实验的环境：

• 1、安装Linux、JDK

• 有关centOS安装详见：https://blog.csdn.net/zxdspaopao/article/details/83277479
• 有关jdk安装详见：https://blog.csdn.net/zxdspaopao/article/details/83278090

2、配置主机名、免密码登录

3、约定：安装目录：/usr/local

 

一、准备环境

1、配置主机名

#vi /etc/hostname

• 修改为：

cmaster

• 重启生效：

#reboot

 

2、免密码登录

#ssh-keygen -t rsa

#ll ~/.ssh/

#ssh cmaster

 

二、安装hadoop

1、上传hadoop安装所需要的压缩包

 

2、查看目录

#cd /usr/local

#ls

 

3、解压

# tar -zxvf hadoop-2.8.4.tar.gz -C /usr/local

• 解压完成后删除压缩包：

# rm -f hadoop-2.8.4.tar.gz

 

三、设置环境变量

#vi /etc/profile

• 在下方添加一下内容：

HADOOP_HOME=/usr/local/hadoop-2.8.4

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

 

• 使修改的环境变量生效：

#source /etc/profile

 

• 查看hadoop是否安装成功;

#which Hadoop

#hadoop version

 

四、部署hadoop本地模式

特点：不具备HDFS，只能测试MapReduce程序

1、修改hadoop-env.sh配置文件

#cd /usr/local/hadoop-2.8.4/etc/Hadoop

#vi Hadoop-env.sh

• 在25行修改：

export JAVA_HOME=/usr/local/jdk1.8.0_151

 

 

Esc   :wq保存退出

 

• 查看：

#hdfs dfs –ls /

• 出现列表即部署成功。

 

2、运行单词统计程序

#mkdir

#cd data

#mkdir input

#mkdir output

#cd input

#vi wc.txt

• 在百度找一篇英语文章写入其中，如图：

• Esc  :wq保存退出

 

• 运行程序：

# hadoop jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /root/data/input/wc.txt  /root/data/output/wc

 

• 查看结果：

# cat /root/data/output/wc/part-r-00000

程序运行成功。

 

 

有需要hadoop安装包的或有什么不懂得地方可在下方留言。