Hadoop nodos de clúster a menudo necesitan ser añadidos o eliminados de la nodo que ha fallado en el clúster.
Nombramiento de nuevo DataNode
DataNode añadido al cluster, necesita ser implementada mediante la configuración de los parámetros dfs.hosts HDFS hdfs-site.xml, y luego iniciar el proceso de DataNode.
El clúster de origen a la nueva configuración de nodos de soporte de copia de archivos.
En la ruta del archivo de configuración /opt/module/hadoop-2.6.0/etc/hadoop añadir el archivo include.txt
# Cat include.txt
node4
Maestro
Agregar dispuesto en hdfs-site.xml
<Propiedad> <Nombre> dfs.hosts </ name> <valor> / opt / módulo / hadoop- 2.6 . 0 /etc/hadoop/include.txt </ value> </ Property>
la información del nodo de actualización en NameNode
$ Hdfs dfsadmin -refreshNodes
Modificar archivo de esclavos, añadir un nuevo nombre de host del nodo
$ esclavos gato
nodo1
nodo2
nodo3
node4
Maestro
Iniciar un nuevo nodo DataNode
$ DataNode inicio hadoop-daemon.sh
Vista en la web
nodo de ascensor
nodo Releasing se logra mediante la configuración de parámetros dfs.hosts.exclude dfs hdfs-site.xml, y luego borrar los correspondientes esclavos nodo del archivo.
Adición de un nodo a ser puesto en libertad ip exclude.txt o nombre de host al archivo, el archivo no cambia include.txt
$ Cat /opt/module/hadoop-2.6.0/etc/hadoop/ exclude.txt
node4
Agregar dispuesto en hdfs-site.xml
<Propiedad> <Nombre> dfs.hosts.exclude </ name> <valor> / opt / módulo / hadoop- 2.6 . 0 /etc/hadoop/exclude.txt </ value> </ Property>
la información del nodo de actualización en NameNode
$ Hdfs dfsadmin -refreshNodes
Ver en la web, el DataNode copia de bloque se dará a conocer en este momento está en manos de la otra DataNode
El levantamiento del nodo a borrar include.txt
$ Include.txt gato
Maestro
la información del nodo de actualización
$ Hdfs dfsadmin -refreshNodes
Llegada la web
esclavos liberados eliminar documento nodo
$ esclavos gato
nodo1
nodo2
nodo3
Maestro
Si un nodo DataNode aparecen en ambos archivos de inclusión y exclusión, y luego decidir si es o no disponibles de acuerdo a las siguientes reglas:
Aparece en el archivo de inclusión | Aparece en el archivo de exclusiones | explicación |
no | no | No se puede conectar nodos |
no | es | No se puede conectar nodos |
es | no | Los nodos pueden estar conectados |
es | es | Los nodos pueden estar conectados, para ser lanzado |