Aprendizaje de big data 1: construcción del entorno Hadoop + MacOS

1. Prepare jdk ...

2 、 准备 Hadoop ：https://hadoop.apache.org/releases.html

3. Configure el inicio de sesión sin contraseña SSH para facilitar la administración y el intercambio de recursos en el clúster de Hadoop

      a. Active el inicio de sesión remoto: Preferencias del sistema -> Compartir -> Seleccionar inicio de sesión remoto

      b. Abra la terminal -> ingrese ssh-keygen -t rsa -> ingrese cat ~ / .ssh / id_rsa.pub >> ~ / .ssh / allowed_keys -> ingrese ssh localhost para probar, la configuración es exitosa y aparece el siguiente mensaje:

          

4. Configure las variables de entorno de Hadoop, de forma similar a la configuración de jdk. Abra la terminal e ingrese: vim ~ / .bash_profile. Agregue la siguiente información (aquí coloco el archivo Hadoop directamente debajo del documento):

           

    De esta forma, ingrese $ {HADOOP_HOME} para ingresar al archivo Hadoop.

5. Configure el entorno de Hadoop, ingrese $ {HADOOP_HOME} / etc / hadoop, modifique los siguientes cuatro archivos de configuración: hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml.

hadoop-env.sh:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

core-site.xml:

<configuration>
    
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/data</value>
    </property>

</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
　　 <property>
        <name>dfs.namenode.name.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>localhost:50070</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx4096m</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

</configuration>

6. Inicialización: ingrese al terminal e ingrese hadoop namenode -format

      

7. Inicie Hadoop.

     a 、 sbin / start-all.sh

     b 、 sbin / start-dfs.sh ， sbin / start-yarn.sh

     Ingrese jps para ver los resultados de inicio:

     

8. Verifique el resultado de la puesta en marcha. Si el navegador puede mostrar la siguiente página ingresando la siguiente URL:

http: // localhost: 50070

http: // localhost: 8088