Hadoop 擬似分散モードの確立 (詳細な手順)

ハドゥープのバージョン	CPU名	ip	インストールパス
ハドゥープ-3.3.0	ハドゥープテスト	192.168.254.172	ホーム/hadoop/ソフトウェア/hadoop-3.3.0

1. ファイアウォールをオフにする

(1) ファイアウォールコマンドを一時的に終了します：service iptables stop

(2) ファイアウォールコマンドを永続的にオフにします: chkconfig iptables off

2.JDKのインストール

jdkがインストールされていない場合は、この記事を参照してください。

https://editor.csdn.net/md/?articleId=126587725

3.Hadoopインストールパッケージを準備する

hadoop-3-3.0のダウンロードアドレス

http://リンク: https://pan.baidu.com/s/1YClfndoOCRdr_yRIxPrj_A?pwd=v8i1

注: Hadoop 圧縮パッケージをダウンロードした後、圧縮パッケージを仮想マシンにアップロードします (ここでのアップロードパスは home/hadoop/software/)

2.Hadoop擬似分散モードをインストールする

1. home/hadoop/software/ パスの下に hadooptmp ディレクトリを作成します。

mkdir /hone/hadoop/ソフトウェア/hadooptmp

注: /hone/hadoop/software/ は、Hadoop 圧縮パッケージを保存するパスです。独自のパスに変更してください。

2. hadoop-3.3.0.tar.gz を解凍します。

tar -zxvf hadoop-3.3.0.tar.gz

3.「hadoop-3.3.0/etc/hadoop」と入力します。

cd ホーム/ソフトウェア//hadoop-3.3.0/etc/hadoop

注: これは、直接 cd hadoop ではなく、解凍された hadoop-3.3.0/etc/hadoop です。

4. Hadoopが実行される環境を編集する

vi hadoop-env.sh

ファイルを入力した後、次のように jdk 環境変数を追加します。

エクスポート JAVA_HOME=/home/hadoop/software/jdk1.8.0_171

追加後、保存して終了します

/home/hadoop/software/ は jdk を保存するパスであることに注意してください。これは独自のパスに変更できます。

5. NameNode が配置されているホストまたは通信アドレス、および NameNode のフォーマットされたディレクトリへのパスを構成します。

vi コアサイト.xml

ファイルを入力したら、ファイルの一番下までスライドして、<configuration></configuration> に次の内容を追加します。

<プロパティ>

<name>fs.defaultFS</name>

<value>hdfs://hadooptest:9000</value>

</プロパティ>

<プロパティ>

<name>hadoop.tmp.dir</name>

<値>/ホーム/hadoop/ソフトウェア/hadooptmp</値>

</プロパティ>

追加後、保存して終了します

注: ここにある hadooptest は私のホスト名です。それに応じて自分のホスト名に変更してください

/home/hadoop/software/hadooptmp ここは、最初のステップで Hadooptmp を作成するためのパスです。

6. DataNodeのデータブロック冗長性を設定する

vi hafs-site.xml

ファイルを入力したら、ファイルの一番下までスライドして、<configuration></configuration> に次の内容を追加します。

<プロパティ>

<name>dfs.replication</name>

<値>1</値>

</プロパティ>

追加後、保存して終了します

7. MapReduce 実行フレームワークの糸コンテナを構成する

vi マップレッドサイト.xml

ファイルを入力したら、ファイルの一番下までスライドして、<configuration></configuration> に次の内容を追加します。

<プロパティ>

  <name>mapreduce.framework.name</name>

   <値>糸</値>

   </プロパティ>

追加後、保存して終了します

8. ResourceManager が配置されているホストと MapReduce バッファーメソッドを構成します。

vi 糸サイト.xml

ファイルを入力したら、ファイルの一番下までスライドして、<configuration></configuration> に次の内容を追加します。

<プロパティ>

<name>yarn.nodemanger.aux-services</name>

<value>mapreduce_shuffle</value>

</プロパティ>

追加後、保存して終了します

9. Hadoop 環境変数を構成する

vi ~/.bash_profile

次の内容をファイルに追加します

エクスポート HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0

エクスポート PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

注: /home/hadoop/software/hadoop-3.3.0 は、Hadoop が保存されているパスです。Hadoop が保存されているパスに変更できます。

10. bash_profile ファイルの内容を更新します

ソース ~/.bash_profile

11. NameNode のフォーマット

hadoop ネームノード -format

12. Hadoop関連プロセスの開始

start-all.sh

以下の画像が表示されたら起動完了です

13. 進捗状況を確認する

jps

その後、以下の内容が表示されます

この時点で、Hadoop 擬似分散クラスターがセットアップされました。初めてセットアップするときは、いくつかの問題が発生する可能性があります。ご質問がある場合は、コメントするか、非公開でメッセージを送ってください。