navegación de páginas blog personal (haga clic a la derecha de enlace para abrir un blog personal): Daniel lo lleve en la pila de tecnología
1 Información general
Este artículo describe plataforma de datos grande Hadoop entorno distribuido para construir, desplegar el siguiente diagrama para los nodos de Hadoop serán desplegados en NameNode master1, SecondaryNameNode desplegado en master2, esclavo1, esclavo2, slave3 fueron desplegados en un DataNode nodo
NN = NameNode (nombre de nodo)
SND = SecondaryNameNode (NameNode nodo secundario)
DN = DataNode (datos nodo)
2 preparación
(1) Preparación cinco servidores
如: master1, master2, esclavo1, esclavo2, slave3
(2) Cierre todos los servidores de firewall
$ systemctl stop firewalld
$ systemctl disable firewalld(3) se modifican archivo / etc / hosts para cada servidor, de la siguiente manera:
192.168.56.132 master1
192.168.56.133 master2
192.168.56.134 slave1
192.168.56.135 slave2
192.168.56.136 slave3Nota: La modificación corresponde a un archivo de servidor / etc / hostname, respectivamente master1, master2, esclavo1, esclavo2, slave3
(4), respectivamente, para crear un usuario común y el grupo en cada servidor
$ groupadd hadoop #增加新用户组
$ useradd hadoop -m -g hadoop #增加新用户
$ passwd hadoop #修改hadoop用户的密码Cambiar al usuario hadoop: su hadoop
(5) entre cada configuración de entrada libre de contraseña del servidor, realice un servicio independiente en sus respectivos
$ ssh-keygen -t rsa #一直按回车，会生成公私钥
$ ssh-copy-id hadoop@master1 #拷贝公钥到master1服务器
$ ssh-copy-id hadoop@master2 #拷贝公钥到master2服务器
$ ssh-copy-id hadoop@slave1 #拷贝公钥到slave1服务器
$ ssh-copy-id hadoop@slave2 #拷贝公钥到slave2服务器
$ ssh-copy-id hadoop@slave3 #拷贝公钥到slave3服务器Nota: La operación anterior requiere que el usuario inicie sesión en el hadoop operativo
(6) Descargar hadoop paquete, hadoop-2.7.5.tar.gz
Dirección del sitio web oficial: https: //archive.apache.org/dist/hadoop/common/hadoop-2.7.5/
3 para iniciar el despliegue de instalación
(1) Crear un directorio de instalación hadoop
$ mkdir -p /home/hadoop/app/hadoop/{tmp,hdfs/{data,name}}(2) el paquete de instalación para desempaquetar / home / hadoop / app / hadoop menor
$tar zxf tar -zxf hadoop-2.7.5.tar.gz -C /home/hadoop/app/hadoop(3) dispuesto variables de entorno de Hadoop, modificar el / etc / profile
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
HADOOP_HOME=/home/hadoop/app/hadoop/hadoop-2.7.5
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH(4) variable de entorno Refresh
$source /etc/profile4 Configurar Hadoop
(1) dispuesto núcleo-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/core-site.xml<configuration>
<property>
<!-- 配置HDFS的NameNode所在节点服务器 -->
<name>fs.defaultFS</name>
<value>hdfs://master1:9000</value>
</property>
<property>
<!-- 配置Hadoop的临时目录 -->
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop/tmp</value>
</property>
</configuration>La configuración por defecto Dirección: http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml
(2) Configuración hdfs-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hdfs-site.xml<configuration>
<property>
<!-- 配置HDFS的DataNode的备份数量 -->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/app/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/app/hadoop/hdfs/data</value>
</property>
<property>
<!-- 配置HDFS的权限控制 -->
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<!-- 配置SecondaryNameNode的节点地址 -->
<name>dfs.namenode.secondary.http-address</name>
<value>master2:50090</value>
</property>
</configuration>La configuración por defecto Dirección: http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
(3) colocada-site.xml mapred
$ cp /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml<configuration>
<property>
<!-- 配置MR运行的环境 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>La configuración por defecto Dirección: http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
(4) colocado de hilo site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-site.xml<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!-- 配置ResourceManager的服务节点 -->
<name>yarn.resourcemanager.hostname</name>
<value>master1</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master1:8088</value>
</property>
</configuration>La configuración por defecto Dirección: http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
(5) dispuestas esclavos
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/slavesslave1
slave2
slave3esclavos en el archivo de configuración es donde el DataNode servicio del nodo
(6) dispuesto hadoop-env
Hadoop-env.sh modificar las variables de entorno JAVA_HOME archivo, de la siguiente manera:
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_131(7) dispuesto hilo-env
Modificar yarn-env.sh variables de entorno JAVA_HOME archivo, de la siguiente manera:
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_131(8) dispuesto mapred-env
Modificar las variables de entorno JAVA_HOME archivo mapred-env.sh, de la siguiente manera:
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_131(9) En el master1 hadoop están configurados para la copia remota maser2, esclavo1, esclavo2, servidor slave3
$ scp -r /home/hadoop/app/hadoop hadoop@master2:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave1:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave2:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave3:/home/hadoop/app/prueba de 5 de inicio
(1) Inicialización Hadoop clúster nodos master1
$ hadoop namenode -format(2) el grupo de inicio Hadoop
$ start-dfs.sh
$ start-yarn.shSi (3) verificar clúster éxito
puerto de acceso del navegador, tras el despliegue exitoso de racimo probada 50070
aprendizaje adjunta Java / C / C ++ / máquina / Algoritmos y Estructuras de Datos / front-end / Android / Python / programador de lectura / libros individuales libros Daquan:
(Haga clic en la derecha para abrir allí en el blog personal en seco): seca Técnica de floración
===== >> ① [Java Daniel lo lleve en el camino a avanzado] << ====
===== >> ② [+ acm algoritmo de estructura de datos Daniel lo lleve en el camino a avanzado] << ===
===== >> ③ [base de datos de Daniel lo lleve en el camino a avanzado] << == ===
===== >> ④ [Daniel cliente web para llevarlo en el camino a avanzado] << ====
===== >> ⑤ [pitón máquina de aprendizaje y Daniel le llevará a la entrada camino avanzada] << ====
===== >> ⑥ [arquitecto Daniel lo lleve en el camino a avanzado] << =====
===== >> ⑦ [C ++ Daniel avanzó para llevarlo en el camino] << ====
===== >> ⑧ [ios Daniel lo lleve en el camino a avanzado] << ====
=====> > ⑨ [seguridad web Daniel lo lleve en el camino a avanzado] << =====
===== >> ⑩ [sistema operativo Linux y Daniel se toman en el camino a avanzado] << = ====No hay frutas consumidas, espero que jóvenes amigos, amigos desea aprender técnicas, superando todos los obstáculos en el camino de la carretera determinada para atar en la tecnología, entender el libro, y luego golpear en el código, entender el principio, e ir a la práctica, se se le dan vida, su trabajo, su futuro un sueño.
