安装环境jdk1.8+centos7+hadoop-2.8
一．安装环境：jdk1.8+hadoop-2.8.0+centos7
二．虚拟机网络配置
三．JDK安装
下载并安装：$sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
验证是否安装完成：$java -version
配置环境变量，修改/etc/profile文件，添加行： export JAVA_HOME=jdk安装路径
使环境变量生效：$source /etc/profile
1.修改主机名
[root@master /]# vi /etc/hostname
Eg:master
Slave1
Slave2
四 配置免密登陆
命令ssh-keygen -t rsa生成密钥
生成的密钥存放在/root/.ssh目录下
将id_rsa.pub文件复制到其他两台机器
scp /root/.ssh/id_rsa.pub [email protected]:/root/.ssh/authorized_keys
双向免密操作，其他两台机器重复此操作
成功后 ssh hostname/ip 登陆测试（除首次外不需要输入密码）
四．Hadoop 安装
解压hadoop的压缩包
在解压包下新建hadoop-2.8.0/dfs/data,
hadoop-2.8.0/dfs/name,
hadoop-2.8.0/tmp三个文件夹，
配置文件中会用到由于hadoop集群需要在每一个节点上进行相同的配置，所以配置好一个可以直接复制到其他节点。
将hadoop解压后更改配置文件：
配置文件在hadoop-2.8.0/etc/hadoop路径下（解压后的路径）
配置hadoop的配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,slaves
$vim core-site.xml其他文件相同，以下为配置文件内容：
注意蓝色字体部分换成自己的路径或者主机名字
1.core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/tmp</value>
</property>
2.hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
3.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
5.slaves
slave1
slave2
以上部分为hadoop的配置文件部分
scp -r /opt/module/hadoop-2.8.0 /root@slave1:/opt/module/ 可以通过此命令将整个文件复制到其他两个节点
Hadoop环境变量配置
/etc/profile下增加文件
#hadoop environment vars
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使环境变量生效：source /etc/profile
格式化NameNode（第一次启动时格式化，以后就不要总格式化）
[root@local02 hadoop-2.7.2]$ bin/hdfs namenode -format
启动hadoop：$start-all.sh
master节点查看启动情况：$jps
slave1节点查看启动情况：$jps
slave2节点查看启动情况：$jps
192.168.242.11:8088/cluster
Web浏览器输入127.0.0.1:50070，查看管理界面
7、Hadoop集群测试
目的：验证当前hadoop集群正确安装配置
本次测试用例为利用MapReduce实现wordcount程序
生成文件testWordCount：$echo "My name is Xie PengCheng. This is a example program called WordCount, run by Xie PengCheng " >> testWordCount
创建hadoop文件夹wordCountInput：$hadoop fs -mkdir /wordCountInput
将文件testWordCount上传至wordCountInput文件夹：$hadoop fs -put testWordCount /wordCountInput
执行wordcount程序，并将结果放入wordCountOutput文件夹：$hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /wordCountInput /wordCountOutput
注意事项：/wordCountOutput文件夹必须是没有创建过的文件夹
查看生成文件夹下的文件：$hadoop fs -ls /wordCountOutput
浏览器中也可以查看
原文地址：https://blog.csdn.net/code__online/article/details/80178032
原文地址：https://blog.csdn.net/qq_30070433/article/details/60474240