ビッグデータの学習1：Hadoop + MacOS環境の構築

1. jdkを準備します...

2、准备Hadoop：https ://hadoop.apache.org/releases.html

3. SSHパスワードなしのログインを構成して、Hadoopクラスター上のリソースの管理と共有を容易にする

a。リモートログインをオンにします。[システム設定]-> [共有]-> [リモートログインの選択]

b。端末を開きます-> ssh-keygen -t rsaと入力します-> cat〜/ .ssh / id_rsa.pub >>〜/ .ssh / authorized_keysと入力します-> ssh localhostと入力してテストします。設定が成功し、次のメッセージが表示されます。

4. jdkの構成と同様に、Hadoop環境変数を構成します。ターミナルを開き、vim〜/ .bash_profileと入力します。次の情報を追加します（ここでは、Hadoopファイルをドキュメントのすぐ下に配置しています）。

このように、$ {HADOOP_HOME}と入力してHadoopファイルを入力します。

5. Hadoop環境を構成し、$ {HADOOP_HOME} / etc / hadoopを入力して、hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xmlの4つの構成ファイルを変更します。

hadoop-env.sh：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

core-site.xml：

<configuration>
    
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/data</value>
    </property>

</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
　　 <property>
        <name>dfs.namenode.name.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/Users/chenbin/Documents/hadoop-3.2.0/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>localhost:50070</value>
    </property>
</configuration>

mapred-site.xml：

<configuration>
    
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx4096m</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

</configuration>

6.初期化：端末を入力し、hadoop namenode -formatを入力します

7. Hadoopを起動します。

a、sbin / start-all.sh

b、sbin / start-dfs.sh、sbin / start-yarn.sh

jpsと入力して、起動結果を表示します。

8.起動結果を確認します。ブラウザが次のURLを入力して次のページを表示できるかどうか。

http：// localhost：50070

http：// localhost：8088

ビッグデータの学習1：Hadoop + MacOS環境の構築

おすすめ