Installation et déploiement de Hadoop 2.5.0 sous CentOS7

Contexte

Enregistrez le processus d'installation et de déploiement de Hadoop 2.5.0 sous CentOS7

étape

1. Créez un nouveau dossier cdh et décompressez le package compressé hadoop dans le dossier cdh

#mkdir cdh
#tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C cdh

2. Basculez vers le répertoire etc / hadoop sous le répertoire de décompression hadoop et modifiez hadoop-env.sh, mapred-env.sh, mapred-site.xml.template, hdfs-site.xml, yarn-site.xml, core -site .xml et esclave sept fichiers.

Les deux envs peuvent uniquement modifier le JAVA_HOME du fichier sur la pièce (java1.8 dans mon CentOS est installé dans le répertoire / home / szc / jdk8_64, donc JAVA_HOME est défini sur / home / szc / jdk8_64)

export JAVA_HOME=/home/szc/jdk8_64

Une fois le fichier mapred-site.xml.template modifié comme suit, renommez-le en fichier mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>192.168.57.141:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>192.168.57.141:19888</value>

    </property>

</configuration>

hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>192.168.57.141:50091</value>

    </property>

</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>



    <property>

        <name>yarn.resoucemanager.hostname</name>

        <value>192.168.57.141</value>

    </property>



    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>604800</value>

    </property>

</configuration>

core-site.xml, notez que le szc dans les deux derniers attributs est remplacé par votre propre nom d'utilisateur, et le répertoire correspondant à hadoop.tmp.dir doit également être créé par vous-même

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.57.141:8020</value>

    </property>



    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/szc/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp</value>

    </property>



    <property>

        <name>hadoop.proxyuser.szc.hosts</name>

        <value>*</value>

    </property>



    <property>

        <name>hadoop.proxyuser.szc.groups</name>

        <value>*</value>

    </property>


    <property>

        <name>hadoop.proxyuser.root.hosts</name>

        <value>*</value>

    </property>



    <property>

        <name>hadoop.proxyuser.root.groups</name>

        <value>*</value>

    </property

</configuration>

des esclaves

192.168.57.141

Tous les IP ci-dessus sont l'IP natif de centos

 

3. Formater hdfs

Basculez vers le répertoire bin du répertoire de décompression hadoop, puis exécutez la commande

#hdfs namenode -format

La capture d'écran après l'achèvement est la suivante

 

4. Démarrez le processus correspondant

Accédez au répertoire sbin du répertoire de décompression hadoop, exécutez start-dfs.sh, start-yarn.sh pour démarrer hdfs et yarn, puis exécutez la commande suivante pour démarrer historyserver

./mr-jobhistory-daemon.sh start historyserver

 

5. Navigateur Windows pour afficher l'interface utilisateur du cluster

Ouvrez d'abord le port 50070

[root@localhost sbin]# firewall-cmd --add-port=50070/tcp --permanent

success

[root@localhost sbin]# firewall-cmd --reload

success

Entrez ensuite le centos ip: 50070 dans le navigateur Windows, et l'interface suivante s'affichera après avoir appuyé sur Entrée

 

Jusqu'à présent, le déploiement d'Hadoop est terminé

Conclusion

Ci-dessus, merci