一、环境准备:
1、一台服务器,主机名为nn01,IP为192.168.1.21
2、安装JAVA环境
yum -y install java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk.x86_64
二、安装Hadoop
1、tar -xf hadoop-2.7.6.tar.gz
2、mv hadoop-2.7.6 /usr/local/hadoop
cd /usr/local/hadoop/
./bin/hadoop
报错 Error: JAVA_HOME is not set and could not be found.
这里我们就要检查一下java环境是否已安装。如果已安装。那么检查配置文件的设置了
cd etc/hadoop/
vim hadoop-env.sh
修改java-home,和工作目录这2个参数
查询java的工作目录
rpm -ql java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
修改以后,再次运行./bin/hadoop
就会跳出提示信息,主要是hadoop这个命令的用法相关
其实单机版的hadoop,就安装完毕了。那么我们来测试一下其运算功能
三、使用Hadoop进行词频计算
mkdir aa 创建一个目录
cp *.txt aa/ 把一些txt文档copy到aa目录里面
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount aa bb
hadoop运行jar脚本对aa目录里面的数据进行词频统计运算,结果放到bb目录里
cat bb/part-r-00000 运算结果