Jouer Compétences: Hadoop plate-forme Big Data pour construire un environnement de cluster distribué

page de navigation blog personnel (cliquez sur le droit lien pour ouvrir un blog personnel): Daniel vous prenez sur la pile de technologie 

1 Présentation

Cet article décrit grande plate-forme de données environnement distribué Hadoop pour construire, déployer le schéma ci-dessous pour les noeuds Hadoop seront déployés dans NameNode Master1, SecondaryNameNode déployé dans Master2, slave1, slave2, slave3 ont été déployés dans un nœud DataNode

NN = NameNode (nom du nœud)

SND = SecondaryNameNode (NameNode de noeud secondaire)

DN = DataNode (données de noeud)

2 préparation

(1) Préparation cinq serveurs

如: Master1, Master2, slave1, slave2, slave3

(2) Arrêtez tous les serveurs de pare-feu

$ systemctl stop firewalld
$ systemctl disable firewalld

(3) sont modifiés / etc / hosts pour chaque serveur, comme suit:

192.168.56.132 master1
192.168.56.133 master2
192.168.56.134 slave1
192.168.56.135 slave2
192.168.56.136 slave3

Note: La modification correspond à un serveur / etc / hostname, respectivement Master1, Master2, slave1, slave2, slave3

(4), respectivement, pour créer un utilisateur commun et le groupe dans chaque serveur

$ groupadd hadoop #增加新用户组
$ useradd hadoop -m -g hadoop #增加新用户
$ passwd hadoop #修改hadoop用户的密码

Passer à l'utilisateur Hadoop: su Hadoop

(5) entre chaque serveur de configuration de connexion sans mot de passe, effectuer un service distinct dans leur respective

$ ssh-keygen -t rsa #一直按回车，会生成公私钥
$ ssh-copy-id hadoop@master1 #拷贝公钥到master1服务器
$ ssh-copy-id hadoop@master2 #拷贝公钥到master2服务器
$ ssh-copy-id hadoop@slave1 #拷贝公钥到slave1服务器
$ ssh-copy-id hadoop@slave2 #拷贝公钥到slave2服务器
$ ssh-copy-id hadoop@slave3 #拷贝公钥到slave3服务器

Remarque: L'opération ci-dessus, l'utilisateur doit se connecter à la Hadoop d'exploitation

(6) Télécharger Hadoop Package, Hadoop-2.7.5.tar.gz

Adresse Site officiel: https: //archive.apache.org/dist/hadoop/common/hadoop-2.7.5/

3 pour démarrer le déploiement d'installation

(1) Créez un répertoire d'installation Hadoop

$ mkdir -p /home/hadoop/app/hadoop/{tmp,hdfs/{data,name}}

(2) le module d'installation pour déballer / home / hadoop / app / inférieure hadoop

$tar zxf tar -zxf hadoop-2.7.5.tar.gz -C /home/hadoop/app/hadoop

(3) disposées les variables d'environnement Hadoop, modifier le répertoire / etc / profile

JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
HADOOP_HOME=/home/hadoop/app/hadoop/hadoop-2.7.5
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH

(4) Actualisation variable d'environnement

$source /etc/profile

4 Configurer Hadoop

(1) disposée à noyau-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/core-site.xml

<configuration>
    <property>
	    <!-- 配置HDFS的NameNode所在节点服务器 -->
        <name>fs.defaultFS</name>
        <value>hdfs://master1:9000</value>
    </property>

    <property>
	    <!-- 配置Hadoop的临时目录 -->
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hadoop/tmp</value>
    </property>
</configuration>

La configuration par défaut Adresse: http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml

(2) Configuration hdfs-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
	    <!-- 配置HDFS的DataNode的备份数量 -->
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/app/hadoop/hdfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/app/hadoop/hdfs/data</value>
    </property>
   
    <property>
        <!-- 配置HDFS的权限控制 -->
	    <name>dfs.permissions.enabled</name>
	    <value>false</value>
    </property>

    <property>
        <!-- 配置SecondaryNameNode的节点地址 -->
        <name>dfs.namenode.secondary.http-address</name>
        <value>master2:50090</value>
    </property>
</configuration>

La configuration par défaut Adresse: http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

(3) placé mapred-site.xml

$ cp /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

<configuration>
    <property>
	    <!-- 配置MR运行的环境 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

La configuration par défaut Adresse: http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

(4) fil-site.xml placé

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <property>
	    <!-- 配置ResourceManager的服务节点 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>master1</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master1:8032</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master1:8088</value>
    </property>
</configuration>

La configuration par défaut Adresse: http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

(5) disposés esclaves

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/slaves

slave1
slave2
slave3

esclaves dans le fichier de configuration est l'endroit où le DataNode service de noeud

(6) disposée hadoop-env

Hadoop-env.sh modifier le fichier JAVA_HOME variables d'environnement, comme suit:

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

(7) disposé fil-env

Modifier variables d'environnement JAVA_HOME fichier yarn-env.sh, comme suit:

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

(8) agencé mapred-env

Modifier les variables d'environnement JAVA_HOME fichier mapred-env.sh, comme suit:

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

(9) Dans le master1 hadoop sont configurés pour la copie à distance maser2, slave1, slave2, serveur slave3

$ scp -r /home/hadoop/app/hadoop hadoop@master2:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave1:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave2:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave3:/home/hadoop/app/

5 Test au démarrage

(1) Initialisation Hadoop grappe noeuds master1

$ hadoop namenode -format

(2) Début groupe Hadoop

$ start-dfs.sh
$ start-yarn.sh

Si (3) Vérifier groupe succès

port d'accès du navigateur, après le déploiement réussi du groupe éprouvé 50070

Attaché Java / C / C ++ / apprentissage machine / algorithmes et structures de données / front-end / Android / Python / programmeur de lecture / Livres Livres simples Daquan:

(Cliquez sur le droit d'ouvrir là - bas dans le blog personnel sec): sec technique Floraison
===== >> ① [Java Daniel vous prendre sur la route à avancé] << ====
===== >> ② [+ acm algorithme structure de données Daniel vous prendre sur la route à avancé] << ===
===== >> ③ [base de données Daniel vous prendre sur la route à avancé] << == ===
===== >> ④ [Daniel Web front-end pour vous emmener sur la route à avancé] << ====
===== >> ⑤ [ la machine python d'apprentissage et Daniel vous prenez l' entrée à la route avancée] << ====
===== >> ⑥ [architecte Daniel vous prendre sur la route à avancé] << =====
===== >> ⑦ [C ++ Daniel avance pour vous emmener sur la route] << ====
===== >> ⑧ [ios Daniel vous prendre sur la route à avancé] << ====
=====> > ⑨ [sécurité Web Daniel vous prendre sur la route à avancé] << =====
===== >> ⑩ [système d'exploitation Linux et Daniel vous prenez la route à avancé] << = ====

Il n'y a pas de fruits non acquises, espérons que vous jeunes amis, les amis veulent apprendre les techniques, surmonter tous les obstacles sur le chemin de la route déterminée à lier dans la technologie, de comprendre le livre, puis frapper sur le code, comprendre le principe, et aller pratique, sera il vous apportera la vie, votre travail, votre avenir un rêve.