擬似分散インストール
目次
3. ホスト名と IP アドレスをマッピングするように hosts ファイルを構成します。
12. namenode の形式: hadoop namenode -format
13. Hadoop を開始します: start-all.sh
1. 手順
1. ファイアウォールをオフにする
一時的なシャットダウン: サービス iptables の停止
永続的なシャットダウン: chkconfig iptables がオフ
2.ホスト名の設定
Hadoop クラスター内のホスト名には_を含めることはできないことに注意してください。_がある場合、Hadoop クラスターはこのホストのグループを見つけることができないため、開始できません。
ネットワーク ファイルを編集します: vim /etc/sysconfig/network
HOSTNAME 属性を指定したホスト名に変更します (例: HOSTNAME=hadoop01)。
ネットワーク ファイルを再度有効にします:source /etc/sysconfig/network
3.ホスト名と IP アドレスをマッピングするように hosts ファイルを構成します。
ホスト ファイルを編集します: vim /etc/hosts
ホスト名と IP アドレスを一致させます。例: 10.42.3.8 hadoop01
4. パスワードなしで通信できるように ssh を構成する
独自の公開キーと秘密キーを生成すると、生成された公開キーと秘密キーは /root/.ssh ディレクトリに自動的に保存されます: ssh-keygen
生成された公開キーをリモート マシンに次の形式でコピーします: ssh-copy-id [user]@host、例: ssh-copy-id root@hadoop01
5. ファイルをダウンロードする
- Linux を再起動して、ホスト名の変更を有効にします: reboot
- JDKのインストール
- Hadoop インストール パッケージを Linux にアップロードまたはダウンロードする
- インストール パッケージを解凍します: tar -xvf hadoop-2.7.1_64bit.tar.gz
- Hadoop インストール ディレクトリのサブディレクトリ etc/hadoop に入り、Hadoop を構成します: cd hadoop2.7.1/etc/hadoop
6. hadoop-env.sh を設定する
- hadoop-env.sh を編集します: vim hadoop-env.sh
- JAVA_HOME のパスを特定のパスに変更します。例:export JAVA_HOME=/home/software/jdk1.8
- HADOOP_CONF_DIR のパスを特定のパスに変更します。たとえば、export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop となります。
- 終了ファイルを保存する
- リロードが有効になります: ソース hadoop-env.sh
7. core-site.xml を構成する
vim コアサイト.xml
<property>
<!-- 指定HDFS中的主节点 - namenode -->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!-- 执行Hadoop运行时的数据存放目录 -->
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
8. hdfs-site.xml を構成する
mapred-site.xml.templateをmapred-site.xml：cpmapred-site.xml.templatemapred-site.xmlとして作成します
説明mapred-site.xml：vim mapred-site.xml
<property>
<!-- 指定将MapReduce在Yarn上运行 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
9.yarn-site.xmlを設定する
糸-サイト.xml を編集します: vim 糸-サイト.xml
<!-- 指定Yarn的主节点 - resourcemanager -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!-- NodeManager的数据获取方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
10. スレーブの構成
- スレーブの編集: vim スレーブ
- スレーブ ノード情報を追加します (例: hadoop01)。
- 保存して終了
11. Hadoop 環境変数を構成する
- プロファイル ファイルを編集します: vim /etc/profile
- Hadoop 環境変数を追加します。例:
- エクスポート HADOOP_HOME=/home/software/hadoop-2.7.1
- エクスポート PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 保存して終了
- 再検証: ソース /etc/profile
12. namenode の形式: hadoop namenode -format
13. Hadoop を開始します: start-all.sh
2. 注意すべき事項
1. Hadoop 構成が有効にならない場合は、Linux を再起動する必要があります。
2. フォーマットすると、次のような出力が表示されます。ストレージ ディレクトリ /tmp/hadoop-root/dfs/name は正常にフォーマットされました。この文が表示されればフォーマット成功です
3. Hadoop が正常に起動すると、JPS には 5 つのプロセスが存在します: Namenode、Datanode、Secondarynamenode、ResourceManager、NodeManager
4. Hadoop が正常に起動すると、ブラウザを通じて HDFS ページにアクセスできます。アクセス アドレスは次のとおりです。 IP アドレス: 50070
5. Hadoop が正常に起動したら、ブラウザから Yarn ページにアクセスできます。アクセス アドレスは http://IP アドレス:8088 です。
3. よくある質問
1. フォーマットなどの Hadoop コマンドを実行します。「hadoop namenode -format が表示されます: コマンドが見つかりません」エラー
解決策: /etc/profile の Hadoop 構成を確認してください。
2. ネームノード、データノードなどの HFDS 関連プロセスの削減
解決策: Hadoop インストール ディレクトリの下のログ ディレクトリに移動して、対応するプロセスの起動ログ ファイルを表示できます。
方法 1: ①最初にすべての HDFS 関連プロセスを停止します (stop-dfs.sh または kill -9) ② HDFS を再起動します (start-dfs.sh)
方法 2: ① HDFS 関連のプロセスをすべて停止します。 ② メタデータ ディレクトリを削除します。 ③ 再フォーマットします: hadoop namenode -format ④ Hadoop を起動します: start-all.sh
3. XXXXManager の場合は、mapred、yarn を変更し、再起動します。
4. コマンドが見つからない、hadoop-env.sh 設定が間違っている、プロファイル設定が間違っている