O cliente se conecta ao cluster de alta disponibilidade HDFS

Eu escrevi antes que JAVA usa um cliente para se conectar ao Hadoop. É um único nó; todos os clusters são usados ​​na produção. Não encontrei um método de configuração detalhado para o cluster depois de pesquisar online por muito tempo. O cliente no O cluster HA do Hadoop nameNode precisa ser conectado.Cada nó do cluster do cliente.

Método 1: Carregar usando o arquivo de configuração XML

Este método é baseado no arquivo core-site.xml configurado no serviço de cluster Hadoop. Claro, o arquivo de configuração também pode ser escrito à mão. (Tucao, quando eu estava fazendo isso, O&M apenas forneceu um monte de IPs para eu adivinhar)

configuration = new Configuration();
//通过加载配置文件配置
configuration.addResource(core-site.xml);
FileSystem fs = FileSystem.get(configuration);

O modelo do arquivo de configuração é o seguinte 

<configuration>
    <property>
        <name>fs.default.name</name>
        <!--<name>fs.defaultFS</name>-->
        <value>hdfs://hadoopCluster</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoopCluster

Acho que você gosta

Origin blog.csdn.net/qq_29569183/article/details/115018389
Recomendado
Clasificación