Table des matières
5 Modifier les variables d'environnement
6 Actualiser les variables d'environnement
7 Créer des données de dossier dans le répertoire hadoop313
9 Modifiez le fichier ./core-site.xml
10 Modifiez le fichier ./hadoop-env.sh
11 Editez le fichier ./hdfs-site.xml
12 Editez le fichier ./mapred-site.xml
13 Editez le fichier ./yarn-site.xml
14 Modifiez le fichier ./workers
16 Configurer la connexion sans mot de passe
1 téléchargement Hadoop
Les ressources du disque réseau Hadoop3.1.3 sont les suivantes :
Lien : https://pan.baidu.com/s/1a2fyIUABQ0e-M8-T522BjA?pwd=2jqu Code d'extraction : 2jqu
2 décompresser Hadoop
Décompressez l'archive hadoop dans le répertoire /opt/soft
tar -zxf ./hadoop-3.1.3.tar.gz -C /opt/soft/Vérifiez s'il a été extrait dans le répertoire /opt/soft
ls /opt/soft
3 Renommez le dossier hadoop
Remplacez hadoop-3.1.3/ par hadoop313
mv hadoop-3.1.3/ hadoop3134 Attribuer un groupe au dossier hadoop
chown -R root:root ./hadoop313/5 Modifier les variables d'environnement
# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop6 Actualiser les variables d'environnement
source /etc/profile7 Créer des données de dossier dans le répertoire hadoop313
mkdir ./data8 Vérifier les fichiers
Vérifiez s'il existe les fichiers suivants dans le chemin /opt/soft/hadoop313/etc/hadoop
9 Modifiez le fichier ./core-site.xml
vim ./core-site.xmlAjoutez le contenu suivant dans <configuration></configuration>
Faites attention à savoir si votre nom d'hôte est cohérent et si vous avez effectué un mappage de nom de domaine
Le mappage de nom de domaine peut faire référence à la configuration d'installation Linux Configuration d'installation Oracle+plsql (détaillée)_sqlplus installation_Super Love Slow Blog-CSDN Blog
premiers pas
<property>
<name>fs.defaultFS</name>
<value>hdfs://kb129:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop313/data</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131073</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>10 Modifiez le fichier ./hadoop-env.sh
Recherchez l'export commenté JAVA_HOME ou réécrivez-en un directement
Faites attention à savoir si votre chemin JAVA_HOME est cohérent avec cet article
vim ./hadoop-env.shexport JAVA_HOME=/opt/soft/jdk18011 Editez le fichier ./hdfs-site.xml
vim ./hdfs-site.xmlAjoutez le contenu suivant dans <configuration></configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/soft/hadoop313/data/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/soft/hadoop313/data/dfs/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>12 Editez le fichier ./mapred-site.xml
vim ./mapred-site.xmlAjoutez le contenu suivant dans <configuration></configuration>
Notez votre nom d'hôte
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>kb129:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>kb129:19888</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/had oop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/ share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/op t/soft/hadoop313/share/hadoop/yarn/lib/*</value>
</property>13 Editez le fichier ./yarn-site.xml
vim ./yarn-site.xmlAjoutez le contenu suivant dans <configuration></configuration>
Faites attention à savoir si votre nom d'hôte (nom d'hôte) est cohérent
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>20000</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
<name>yarn.nodemanager.localizer.address</name>
<value>kb129:8040</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>kb129:8050</value>
</property>
<property>
<name>yarn.nodemanager.webapp.address</name>
<value>kb129:8042</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/opt/soft/hadoop313/yarndata/yarn</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/opt/soft/hadoop313/yarndata/log</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>14 Modifiez le fichier ./workers
vim ./workersRemplacez le contenu à l'intérieur par votre nom d'hôte (nom d'hôte)
comme:
kb129
15 initialisation
hadoop namenode -formatVoir le contenu suivant signifie une initialisation réussie
16 Configurer la connexion sans mot de passe
Retour au répertoire personnel
ssh-keygen -t rsa -P ""entrer après entrer
L'écran suivant va apparaitre
Vérifiez s'il existe un fichier .ssh
ll -a
Configurer la connexion sans mot de passe
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keysTestez la connexion sans mot de passe (ssh se connecte à lui-même)
ssh -p 22 root@kb159Si vous n'avez pas besoin de saisir de mot de passe, la configuration est réussie
La première connexion aura la possibilité de saisir oui ou non
À l'avenir, la connexion n'aura pas une telle invite et la connexion réussira directement.
Une fois la connexion réussie, revenez à la machine, entrez Quitter et appuyez sur Entrée.
Si vous êtes deux machines virtuelles différentes et que vous souhaitez utiliser ssh pour vous connecter, vous devez exécuter la commande suivante sur chacune des deux machines virtuelles
(Le nom d'hôte ici est une autre machine virtuelle)
ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb12817 Démarrer et arrêter Hadoop
démarrer Hadoop
start-all.sh arrêter Hadoop
stop-all.sh 18 tests Hadoop
Entrez jps et les six messages suivants apparaîtront
Entrez l'URL http://192.168.153.129:9870/ dans le navigateur et la page apparaîtra ( attention à remplacer votre propre adresse IP )
Ou vérifiez la version Hadoop
hadoop version