Aprendizagem de Big Data 1: construção de ambiente Hadoop + MacOS

1. Prepare o jdk ...

2 准备 Hadoop ：https://hadoop.apache.org/releases.html

3. Configure o login sem senha SSH para facilitar o gerenciamento e compartilhamento de recursos no cluster Hadoop

      a. Ative o login remoto: Preferências do sistema -> Compartilhamento -> Selecionar login remoto

      b. Abra o terminal -> insira ssh-keygen -t rsa -> insira cat ~ / .ssh / id_rsa.pub >> ~ / .ssh / authorized_keys -> insira ssh localhost para testar, a configuração é bem-sucedida e a seguinte mensagem aparece:

          

4. Configure as variáveis ​​de ambiente do Hadoop, semelhante à configuração do jdk. Abra o terminal e digite: vim ~ / .bash_profile. Adicione as seguintes informações (aqui eu coloco o arquivo Hadoop diretamente sob o documento):

           

    Desta forma, insira $ {HADOOP_HOME} para inserir o arquivo Hadoop.

5. Configure o ambiente Hadoop, digite $ {HADOOP_HOME} / etc / hadoop, modifique os quatro arquivos de configuração a seguir: hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml.

hadoop-env.sh:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

core-site.xml:

<configuration>
    
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/data</value>
    </property>

</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
　　 <property>
        <name>dfs.namenode.name.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>localhost:50070</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx4096m</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

</configuration>

6. Inicialização: Entre no terminal e digite hadoop namenode -format

      

7. Inicie o Hadoop.

     a 、 sbin / start-all.sh

     b 、 sbin / start-dfs.sh ， sbin / start-yarn.sh

     Digite jps para ver os resultados da inicialização:

     

8. Verifique o resultado da inicialização. Se o navegador pode exibir a seguinte página, digitando o seguinte URL:

http: // localhost: 50070

http: // localhost: 8088