A través de los artículos anteriores, estamos familiarizados con el funcionamiento autónomo en HDFS y el caso MapReduce cómputo, en el uso real, con el fin de mejorar el rendimiento y la estabilidad, existirán grandes componentes de datos en un clúster, este artículo se explicará cómo construir hadoop clúster.

1 sistemas, software y prerrequisitos limitaciones

7 CentOS
(1) han sido la configuración de un CentOS libre tres de inicio de sesión secreta
https://www.jianshu.com/p/0cc72b228647
(2) tres CentOS se han instalado JDK, y configurar la variable de entorno JAVA_HOME
https: //www.jianshu .com / la p- / 826dc5eca7cb
(3) de los siguientes tres CentOS información específica de la máquina, el lector se fija de acuerdo a la situación real:

| 主机名 | ip | 账号/密码 |包含节点|
| master| 192.168.79.128 | root/zhangli | resourcemanager,namenode |
| slave1| 192.168.79.129 | root/zhangli | nodemanager,datanode |
| slave2| 192.168.79.130 | root/zhangli | nodemanager,datanode |

Ejecute los siguientes comandos como root en la máquina de tres CentOS, determinando a su vez fuera del cortafuegos

systemctl stop firewalld

2.5.2-hadoop
enlace de descarga hadoop: https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
código de extracción: a00t

2 operación

2,1 hadoop-2.5.2.zip para cargar y extraer el nodo maestro, y luego realizar los siguientes cambios:

(1) modificada núcleo-site.xml

    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://master:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>file:/root/hadoop-2.5.2/tmp</value>
                    <description>Abase for other temporary directories.</description>
            </property>
    </configuration>

(2) modificar hdfs-site.xml

    <configuration>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>master:50090</value>
            </property>
            <property>
                    <name>dfs.replication</name>
                    <value>2</value>
            </property>
            <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/root/hadoop-2.5.2/dfs/name</value>
            </property>
            <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/root/hadoop-2.5.2/dfs/data</value>
            </property>
    </configuration>

(3) modificar mapred-site.xml

    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
            <property>
                    <name>mapreduce.jobhistory.address</name>
                    <value>master:10020</value>
            </property>
            <property>
                    <name>mapreduce.jobhistory.webapp.address</name>
                    <value>master:19888</value>
            </property>
    </configuration>

(4) modificar el hilo-site.xml

    <configuration>
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>master</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
    </configuration>

(5) para modificar el contenido de esclavos
Slave1
salve2
(. 6) se añaden /root/hadoop-2.5.2/etc/hadoop/hadoop-env.sh
JAVA_HOME exportación = / root / jdk1.8.0_162
en /root/hadoop-2.5 0,2 / etc / hadoop / yarn-env.sh añadido
export JAVA_HOME = / root / jdk1.8.0_162

hadoop-2.5.2 2.2 fueron puestos en copia maestra a esclavo1, esclavo2, y el formato.

# 压缩已经配置好的hadoop-2.5.2
tar -cvf hadoop.tar hadoop-2.5.2
# 远程拷贝到slave1
scp hadoop.tar root@slave1
# 远程拷贝到slave2
scp hadoop.tar root@slave2
# 免密登录到slave1
ssh slave1
# 解压hadoop.tar
tar -xvf hadoop.tar
# 格式化namenode
/root/hadoop-2.5.2/bin/hdfs namenode -format
# 退出免密登录
exit
# 免密登录到slave2
ssh slave2
# 解压hadoop.tar
tar -xvf hadoop.tar
# 格式化namenode
/root/hadoop-2.5.2/bin/hdfs namenode -format
# 退出免密登录
exit

Se proporcionan en la siguiente esclavo1, esclavo2 en el hadoop:
Añadir /root/hadoop-2.5.2/etc/hadoop/hadoop-env.sh la
export JAVA_HOME = / root / jdk1.8.0_162
en /root/hadoop-2.5 0,2 / etc / hadoop / yarn-env.sh añadido
export JAVA_HOME = / root / jdk1.8.0_162

2.3 hadoop empezar en el maestro

# 确认当前是在master主机，进入家目录
cd
# 进入sbin目录
cd hadoop-2.5.2/sbin
# 启动
./start-all.sh

2.4 Prueba

#  确认当前是master主机，进入家目录
cd
# 进入bin目录
cd hadoop-2.5.2/bin
# 上传yarn文件到hdfs
./hdfs dfs -put yarn /yarn
# 查看上传结果，如果正确则能看到/yarn
./hdfs dfs -ls /
# 免密登录到slave2
ssh slave2
# 查看上传结果，如果正确则能看到/yarn
./hdfs dfs -ls /

Hasta ahora, hemos completado el cluster Hadoop instalado y probado en tres máquinas de CentOS.

instalación del clúster 07 hadoop