Installation et configuration distribuée Hadoop - Zhihu

Préparation de l'environnement Linux

Modifier le nom d'hôte : nom d'hôte

192.168.16.142	192.168.16.51	192.168.16.76

Configurez le fichier de mappage de l'action-1 : vi /etc/hosts

Chargez le fichier hosts de l'action 1 sur les deux autres nœuds :

scp /etc/hosts action-2:/etc/

configuration ssh :

Commande de génération de clé : ssh-keygen

Copiez la clé publique de l'action-1 sur les trois nœuds

Copier les clés : ssh-copy-id action-1, ssh-copy-id action-2, ssh-copy-id action-3

Testez si l'absence de mot de passe réussit :

action ssh-2

Désactivez temporairement le pare-feu : systemctl stop firewalld

Désactivez définitivement le pare-feu : systemctl disable firewalld

installation jdk

légèrement

Modifier le fichier de configuration core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

Modifier le fichier de configuration hdfs-site.xml

<configuration>
  <property>
     <name>dfs.replication</name>
     <value>2</value>
  </property>
</configuration>

Modifier le fichier de configuration mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop02:19888</value>
</property>

Modifier le fichier de configuration yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
</property>

Modifier hadoop-env.sh

Modifier le chemin absolu de jdk

Configurer le fichier des esclaves

(1) Configurez le fichier maître comme suit :

maître

esclave1

esclave2

Ajouter des variables d'environnement hadoop

légèrement

Interprétation simultanée

scp -r [fichier ou dossier local] action-2 : [chemin]

commande d'initialisation

hadoop namenode -format

Commande de démarrage :

start-dfs.sh et start-yarn.sh

Démarrez le processus d'historique : mr-jobhistory-daemon.sh start historyserver

Vérifiez que les processus suivants sont démarrés

action-1 :

• NomNoeud
• DataNode
• Gestionnaire de ressources
• NodeManagerName
• NoeudNomSecondaire
• JobHistoryServer

action-2 :

• DataNode
• NodeManagerName

action-3 :

• DataNode

• NodeManagerName

### Afficher les différentes interfaces de gestion

interface de gestion des nœuds de noms : http://ip:50070

interface de gestion des nœuds de données : http://ip:50075

interface de gestion des fils : http://ip:8088

Interface de visualisation de l'historique des tâches : http://ip:19888

autre

Système de fichiers du gestionnaire de nœuds de nom

Datanode est le système de fichiers

Secondaire NameNode est un programme d'arrière-plan auxiliaire utilisé pour surveiller l'état de HDFS

Le démon JobTracker est utilisé pour connecter l'application à Hadoop