El cliente se conecta al clúster de alta disponibilidad HDFS

Escribí antes que JAVA usa un cliente para conectarse a Hadoop. Es un solo nodo; todos los clústeres se usan en producción. No he encontrado un método de configuración detallado para el clúster después de buscar en línea durante mucho tiempo. El cliente en el El clúster de HA del nodo nameNode de Hadoop debe estar conectado. Cada nodo del clúster del cliente.

Método 1: cargar usando el archivo de configuración XML

Este método se basa en el archivo core-site.xml configurado en el servicio de clúster de Hadoop. Por supuesto, el archivo de configuración también se puede escribir a mano. (Tucao, cuando lo estaba haciendo, O&M solo me proporcionó un montón de direcciones IP para que las adivinara)

configuration = new Configuration();
//通过加载配置文件配置
configuration.addResource(core-site.xml);
FileSystem fs = FileSystem.get(configuration);

La plantilla del archivo de configuración es la siguiente 

<configuration>
    <property>
        <name>fs.default.name</name>
        <!--<name>fs.defaultFS</name>-->
        <value>hdfs://hadoopCluster</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoopCluster

Supongo que te gusta

Origin blog.csdn.net/qq_29569183/article/details/115018389
Recomendado
Clasificación