1 Dar servicio al nuevo nodo de datos
1.1 Requisitos
Con el crecimiento del negocio, la cantidad de datos será cada vez mayor, y la capacidad de los nodos de datos originales ya no podrá satisfacer las necesidades de almacenamiento de datos, por lo que es necesario agregar dinámicamente nuevos nodos de datos sobre la base del clúster original. .
1.2 Preparación del entorno
Clone un nuevo host de máquina virtual, elimine los datos originales clonados (./hadoop-3.1.3/data and logs) y luego obtenga el archivo de configuración:
[pbh@hadoop105 hadoop-3.1.3]$ source /etc/profile
1.2 Pasos específicos para dar servicio a nuevos nodos
- Inicie DataNode directamente para asociarlo con el clúster (se han agregado nuevos nodos)
[pbh@hadoop105 hadoop-3.1.3]$ hdfs --daemon start datanode
[pbh@hadoop105 hadoop-3.1.3]$ yarn --daemon start nodemanager
- En el desarrollo empresarial, si las tareas se envían a menudo en Hadoop102 y Hadoop104, y el número de copias es 2, debido al principio de localidad de datos, habrá demasiados datos en Hadoop102 y Hadoop104, y la cantidad de datos almacenados en Hadoop103 será menor. ser pequeño Habilitar el equilibrio de datos:
[pbh@hadoop105 hadoop-3.1.3]$ sbin/start-balancer.sh -threshold 10
Para el parámetro 10, significa que la utilización del espacio en disco de cada nodo en el clúster no difiere en más del 10 %, lo que se puede ajustar según la situación real.
Detener el comando de equilibrio de datos:
[pbh@hadoop105 hadoop-3.1.3]$ sbin/stop-balancer.sh
2 Desmantelamiento de nodos de datos antiguos
2.1 Agregar lista blanca y lista negra
La lista blanca y la lista negra son un mecanismo para que Hadoop administre hosts de clúster.
Los nodos de host agregados a la lista blanca pueden acceder a NameNode, y los nodos de host que no estén en la lista blanca se cerrarán. Los nodos host agregados a la lista negra no pueden acceder a NameNode y saldrán después de la migración de datos.
En la práctica, la lista blanca se usa para determinar los nodos de DataNode que pueden acceder a NameNode, y la configuración del contenido generalmente es consistente con el contenido del archivo de trabajadores. La lista negra se utiliza para retirar DataNodes durante el funcionamiento del clúster.
Los pasos específicos para configurar la lista blanca y la lista negra son los siguientes:
Cree archivos de lista blanca y lista negra en el directorio /opt/module/hadoop-3.1.3/etc/hadoop del nodo NameNode
[pbh@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[pbh@hadoop102 hadoop]$ touch whitelist
[pbh@hadoop102 hadoop]$ touch blacklist
Agregue los siguientes nombres de host a la lista blanca, asumiendo que los nodos en los que el clúster funciona normalmente son 102 103 104 105
hadoop102
hadoop103
hadoop104
hadoop105
- Agregue los parámetros de configuración dfs.hosts y dfs.hosts.exclude en el archivo de configuración hdfs-site.xml
<!-- 白名单 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>
- Archivos de configuración de distribución lista blanca, lista negra, hdfs-site.xml
- reiniciar el clúster
- Ver el nodo DN que funciona actualmente en un navegador web
2.2 Retiro de la lista negra
- Edite el archivo de la lista negra en el directorio /opt/module/hadoop-3.1.3/etc/hadoop y agregue el nombre de host del nodo que se va a retirar (tome hadoop105 como ejemplo)
- Distribuir lista negra a todos los nodos
- Actualizar NameNode, actualizar ResourceManager
[pbh@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[pbh@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at
hadoop103/192.168.1.103:8033
- Verifique el navegador web, el estado del nodo dado de baja es desmantelamiento en curso (desmantelamiento), lo que indica que el nodo de datos está copiando bloques a otros nodos
[Falló la transferencia de la imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-JRBWekBO-1658999436556) (.../Mecanismo de trabajo de DataNode/imgs/Paso de retiro de la lista negra 4.png)]
- Espere a que se desactive el estado del nodo dado de baja (se han copiado todos los bloques), detenga el nodo y el administrador de recursos del nodo. Nota: Si el número de réplicas es 3 y el número de nodos en servicio es menor o igual a 3, no se puede dar de baja correctamente. Es necesario modificar el número de réplicas antes de dar de baja.
[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo de enlace anti-leech, se recomienda guardar la imagen y cargarla directamente (img-Ft9ampGP-1658999436557) (.../DataNode Working Mechanism/imgs/Blacklist Retirement Paso 5.png)]
[pbh@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanode
stopping datanode
[pbh@hadoop105 hadoop-3.1.3]$ yarn --daemon stop nodemanager
stopping nodemanager
- Si los datos están desequilibrados, puede usar el comando para reequilibrar el clúster
Nota: No se permite que el mismo nombre de host aparezca en la lista blanca y en la lista negra al mismo tiempo. Dado que el nodo hadoop105 se ha dado de baja con éxito mediante el uso de la lista negra de la lista negra, es necesario eliminar hadoop105 de la lista blanca de la lista blanca.