centos7搭建hadoop

系统centos7

1、安装jdk

1）下载jdk

（1）下载地址
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
（2）安装lrzsz
yum installl -y lrzsz
上传安装包
rz

在这里插入图片描述
（3）解压安装包
tar -zxvf jdk-8u25-linux-x64.tar.gz

2）配置环境变量

vim /etc/profile
加入下面的配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_25/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

让配置生效
source /etc/profile

3）查看jdk版本

java -version
在这里插入图片描述

2、远程无密码连接

生成秘钥
ssh-keygen -t rsa
复制到公共秘钥中
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
测试是否配置好
在这里插入图片描述

3、安装hadoop

1）下载hadoop

下载地址
http://mirrors.hust.edu.cn/apache/hadoop/common

2) 安装lrzsz

yum installl -y lrzsz
上传安装包
rz
在这里插入图片描述
解压安装包
tar -zxvf hadoop-2.7.1_64bit.tar.gz

3) 配置环境变量

vim /etc/profile
加入下面的配置

export HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin

让配置生效
source /etc/profile

4) 查看hadoop版本

hadoop version
在这里插入图片描述
#### 4、配置centos地址

1）查看hostname

hostname

2）修改主机名称

hostnamectl set-hostname master
在这里插入图片描述
###### 3）为每个服务器设置地址，vi /etc/hosts 配置(有几个服务器设置几个服务器 ip为外网地址)

重启网络,即可生效
/etc/init.d/network restart

5、配置hadoop

cd /home/hadoop/hadoop-2.7.1/etc/hadoop
###### 1）配置hadoop-env.sh
vim hadoop-env.sh
在这里插入图片描述
配置
export JAVA_HOME=/home/hadoop/jdk1.8.0_25
###### 2）配置yarn-env.sh
vim yarn-env.sh

###### 3）配置core-site.xml
创建零时目录
mkdir -p /home/hadoop/tmp

　<configuration>  
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://master:9000</value>
          </property>
 <!--用来指定使用hadoop时产生文件的存放目录-->
          <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/tmp</value> 
          </property>
　</configuration>

开始配置
在这里插入图片描述

4）配置hdfs-site.xml

指定MapReduce运行在yarn上,配置JobTracker的地址和端口

<configuration>  
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
　　<property>  
      　　<name>mapreduce.framework.name</name>  
      　　<value>yarn</value>  
　　</property>  
　</configuration>

在这里插入图片描述

5）配置yarn-site.xml

<property>
   <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
 <property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value> </property> <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8089</value>
</property>

在这里插入图片描述