nodo de clúster hadoop nombrar y aliviar

Hadoop nodos de clúster a menudo necesitan ser añadidos o eliminados de la nodo que ha fallado en el clúster.

Nombramiento de nuevo DataNode

DataNode añadido al cluster, necesita ser implementada mediante la configuración de los parámetros dfs.hosts HDFS hdfs-site.xml, y luego iniciar el proceso de DataNode.

El clúster de origen a la nueva configuración de nodos de soporte de copia de archivos.

En la ruta del archivo de configuración /opt/module/hadoop-2.6.0/etc/hadoop añadir el archivo include.txt

# Cat include.txt 
node4
Maestro

Agregar dispuesto en hdfs-site.xml

<Propiedad>
<Nombre> dfs.hosts </ name>
<valor> / opt / módulo / hadoop- 2.6 . 0 /etc/hadoop/include.txt </ value>
</ Property>

la información del nodo de actualización en NameNode

$ Hdfs dfsadmin -refreshNodes

Modificar archivo de esclavos, añadir un nuevo nombre de host del nodo

$ esclavos gato 
nodo1
nodo2
nodo3
node4
Maestro

Iniciar un nuevo nodo DataNode

$ DataNode inicio hadoop-daemon.sh

Vista en la web

 

 

nodo de ascensor

nodo Releasing se logra mediante la configuración de parámetros dfs.hosts.exclude dfs hdfs-site.xml, y luego borrar los correspondientes esclavos nodo del archivo.

Adición de un nodo a ser puesto en libertad ip exclude.txt o nombre de host al archivo, el archivo no cambia include.txt

$ Cat /opt/module/hadoop-2.6.0/etc/hadoop/ exclude.txt 
node4

Agregar dispuesto en hdfs-site.xml

<Propiedad>
<Nombre> dfs.hosts.exclude </ name>
<valor> / opt / módulo / hadoop- 2.6 . 0 /etc/hadoop/exclude.txt </ value>
</ Property>

la información del nodo de actualización en NameNode

$ Hdfs dfsadmin -refreshNodes

Ver en la web, el DataNode copia de bloque se dará a conocer en este momento está en manos de la otra DataNode

 

 El levantamiento del nodo a borrar include.txt

$ Include.txt gato 
Maestro

la información del nodo de actualización

$ Hdfs dfsadmin -refreshNodes

Llegada la web

 

 esclavos liberados eliminar documento nodo

$ esclavos gato 
nodo1
nodo2
nodo3
Maestro

 

Si un nodo DataNode aparecen en ambos archivos de inclusión y exclusión, y luego decidir si es o no disponibles de acuerdo a las siguientes reglas:

Aparece en el archivo de inclusión Aparece en el archivo de exclusiones explicación
no no No se puede conectar nodos
no es No se puede conectar nodos
es no Los nodos pueden estar conectados
es es Los nodos pueden estar conectados, para ser lanzado

Supongo que te gusta

Origin www.cnblogs.com/zh-dream/p/12444758.html
Recomendado
Clasificación