Hay dos formas de agregar y eliminar nodos en el clúster de Hadoop: estático y dinámico
. Los nodos recién agregados en este artículo se han configurado con otras configuraciones básicas relacionadas, como el inicio de sesión sin contraseña.
1. Modo estático
El modo estático debe detener NameNode
- 1. detener namenode
- 2. Modifique el archivo esclavo y actualice a cada nodo
- 3. Inicie el namenode
- 4. Ejecute el comando hadoop balance. (Este elemento se usa para el clúster de equilibrio, si solo agrega nodos, este paso no es necesario)
Segundo, la forma dinámica.
- 1. Primero configure hdfs-site.xml del nodo maestro
para agregar una lista de nodos permitidos y denegados para unirse al clúster (si la lista permitida está vacía, el valor predeterminado es permitir conexiones, y la lista denegada está vacía, lo que significa que ningún nodo se niega a conectarse al clúster. La prioridad de la lista rechazada El nivel es mayor que la prioridad permitida)
- 2. Modifique el archivo esclavo, agregue el host del nodo o la IP que necesita agregar y actualícelo en cada nodo
- 3. Inicie y ejecute el comando start datanode en el datanode. Comando: sh hadoop-daemon.sh start datanode
- 4. Actualizar en el nodo maestro. hdfs dfsadmin -refreshNodes
- 5. Puede verificar el estado de adición del nodo a través de la interfaz web. O use el comando: sh hadoop dfsadmin -report
- 6. Ejecute el comando hadoop balance. (Este elemento se usa para el clúster de equilibrio, si solo agrega nodos, este paso no es necesario)
Tercero, elimine el nodo
- 1. Configure el datanode-deny-list en el nodo maestro para rechazar la conexión, agregue el nombre del nodo eliminado a la lista
vi /home/hadoop/hadoop2.7/con/datanode-denylist
- 2. Actualizar
hdfs dfsadmin -refreshNodes en el nodo maestro - 3. Verifique el estado del nodo (puede ver que el estado del nodo se pone fuera de servicio, y después de un período de tiempo se muere)
hdfs dfsadmin -report - 4. Cierre el proceso en el nodo eliminado
yarn-daemon.sh stop nodemanager
hadoop-daemon.sh stop datanode
Descripción de Four, start-balancer.sh
start-balancer.sh puede ejecutar el parámetro -threshold.
-umbral Configuración predeterminada: 10, rango de valores del parámetro: 0-100, significado del parámetro: el parámetro objetivo para determinar si el clúster está equilibrado, la diferencia entre cada tasa de utilización de almacenamiento de nodo de datos y la tasa de utilización de almacenamiento total del clúster debe ser menor que este umbral , teoría En lo anterior, cuanto más pequeño es el parámetro, más equilibrado es todo el clúster. Sin embargo, en el entorno en línea, cuando el clúster de Hadoop se equilibra, los datos se escriben y eliminan simultáneamente, por lo que es posible que no pueda alcanzar el parámetro de equilibrio establecido. Valor.
dfs.balance.bandwidthPerSec Configuración predeterminada: 1048576 (1 M / S), significado del parámetro: establezca el ancho de banda que la herramienta de equilibrio puede ocupar durante la operación. Si la configuración es demasiado grande, la asignación puede ejecutarse lentamente.
Cabe señalar que debido a que HDFS necesita iniciar un servidor de reequilibrio separado para realizar operaciones de reequilibrio, intente no iniciar-balancer.sh en NameNode, pero encuentre una máquina relativamente inactiva.
Inicio: bin / start-balancer.sh 10
Stop: bin / stop-balancer.sh
