Capítulo VII: Flujo de datos de escritura HDFS
7.1 HDFS escriben los datos fluyen
datos de escritura HDFS diagrama de flujo
1) el cliente a través del módulo de petición de sistema de archivos distribuido NameNode para subir archivos, ya sea NameNode comprobar el archivo de destino ya existe, existe el directorio padre.
2) la devolución NameNode si se puede cargar.
3) Las primeras solicitudes de los clientes de bloque en varias DataNode a cargar en el servidor.
4) NameNode devuelve tres nodos DataNode, respectivamente, DN1, DN2, DN3.
5) El cliente solicita DN1 carga de datos a través del módulo FSDataOutputStream, la recepción de la solicitud dn1 continuarán llamar dn2, entonces dn2 DN3 llamada, establecerá la tubería de comunicación se ha completado.
6) DN1, DN2, paso a paso DN3 por los clientes de respuesta.
7) el cliente comienza a subir dn1 primer bloque (a partir de las lecturas del disco de datos en una memoria caché local) a las unidades de paquetes, paquetes dn1 recibirán un pase dn2, dn2 DN3 pasado; dn1 cada pasar un paquete lugares una cola de respuestas en espera de una respuesta.
8) Después de una transferencia en bloque se ha completado, el cliente solicita una vez más subidos NameNode Bloque segundo servidor. (Repita los pasos 3-7).
7.2 HDFS leen flujo de datos
HDFS leer el flujo de datos diagrama
1) por el cliente para descargar la solicitud de archivos distribuido sistema de archivos NameNode, NameNode consultando el archivo de metadatos para encontrar el bloque de direcciones se encuentra en DataNode.
2) selección de un DataNodes (principio de proximidad, a continuación, el servidor al azar), una petición de lectura de datos.
3) DataNode comienza a transmitir datos al cliente (leer datos de un disco en el interior del flujo de entrada, hacer unidades de calibración de paquetes).
4) a clientes de recepción de paquetes de unidades, la primera en la memoria caché local, y luego escribe en el archivo de destino.
