Capítulo VII: Fluxo de dados de escrita HDFS
7.1 HDFS escrever fluxo de dados
gravar dados HDFS diagrama de fluxo
1) o cliente através do pedido módulo NameNode FileSystem Distribuída para fazer upload de arquivos, se NameNode verificar o arquivo de destino já existe, existe o diretório pai.
2) return NameNode se ele pode ser carregado.
3) Os primeiros pedidos de clientes de bloco em várias DataNode fazer o upload para o servidor.
4) NameNode retorna três nós DataNode, respectivamente, DN1, DN2, DN3.
5) Os pedidos de clientes dn1 a transferir dados através de módulo FSDataOutputStream, recibo dn1 do pedido vai continuar a chamar dn2, então dn2 chamada DN3, estabelecerá o pipeline de comunicação é concluída.
6) dn1, dn2, passo DN3 pelos clientes resposta etapa.
7) o cliente começa a fazer upload de dn1 primeiro bloco (começando com disco lê dados em um cache de memória local) às unidades de pacotes, dn1 Packet receberá um dn2 passagem, dn2 DN3 passado; dn1 cada passar um pacote de lugares a fila de resposta à espera de uma resposta.
8) Depois de uma transferência de bloco estiver concluída, o cliente solicita novamente carregado NameNode Bloco segundo servidor. (Repita os passos 3-7).
7.2 HDFS ler o fluxo de dados
HDFS ler o fluxo de dados diagrama
1) pelo cliente para baixar o pedido de arquivos distribuídos FileSystem NameNode, NameNode consultando o arquivo de metadados para encontrar o bloco de endereço localizado no DataNode.
2) seleção de um DataNodes (princípio da proximidade, em seguida, aleatoriamente) servidor, um pedido para ler os dados.
3) DataNode começa a transmissão de dados para o cliente (ler dados a partir de um disco no interior do fluxo de entrada, para fazer unidades de calibração) de pacotes.
4) clientes para Packet receber unidades, o primeiro no cache local, e em seguida, gravada no arquivo de destino.
