0準備
LinuxのJava環境の設定:https://blog.csdn.net/Tiezhu_Wang/article/details/113822949
Linuxのファイアウォールを閉じる:https://blog.csdn.net/Tiezhu_Wang/article/details/113861262
Firefoxのインストール:HTTPS:/ /blog.csdn.net/Tiezhu_Wang/article/details/113385544
1ダウンロード
公式ウェブサイト:https://hadoop.apache.org/releases.html
またはBaidu Netdisk :リンク:https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A(抽出コード:xysm)
2インストール
/ usr / localディレクトリにhadoopをインストールします。
sudo tar -zxf ~/Downloads/hadoop-3.2.1.tar.gz -C /usr/local
ディレクトリに切り替えると、解凍が完了したことがわかり
ます。ファイルのアクセス許可を変更します(ここでは、前の「hadoop」はシステムのユーザー名です)。
cd /usr/local
sudo chown -R hadoop ./hadoop-3.2.1/
3Hadoopが利用可能かどうかを確認します
Hadoopは解凍後に使用できます。次のコマンドを使用して、Hadoopのバージョンを表示します。
/usr/local/hadoop-3.2.1/bin/hadoop version
4疑似分散構成
4.1Hadoop環境変数を設定する
vim ~/.bashrc
次の環境変数を追加します。
export HADOOP_HOME=/usr/local/hadoop-3.2.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
変更が終了すると、構成が有効になります。
source ~/.bashrc
任意のディレクトリに切り替えて、環境変数が正常に構成されているかどうかを確認します。
cd
hadoop version
バージョン情報は上記と同じで、構成は成功しています
4.2構成ファイルを変更する
Hadoop疑似配布では、core-site.xmlとhdfs-site.xmlの2つの構成ファイルを変更する必要があります。core
-site.xml:
cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./core-site.xml
次の構成を追加し、保存して終了します。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.2.1/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
図に示すように:
hdfs-site.xml:
cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./hdfs-site.xml
次の構成を追加し、保存して終了します。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/data</value>
</property>
</configuration>
図に示すように:
5構成が成功したかどうかを確認します
構成が完了したら、namenodeのフォーマットを実行します。
hdfs namenode -format
次のプロンプトが表示されたら、フォーマットは成功しています
。NameNodeデーモンとDataNodeデーモンを起動します。
start-dfs.sh
次に、jpsを使用して、起動が成功したかどうかを確認し
ます。3つのノードプロセスが開始されたことを確認できます。また、ブラウザーからlocalhost:9870にアクセスして、HDFSのファイルを表示することもできます。
入力後、最初のHDFSディレクトリを表示できます。
上記の情報が表示された場合、構成は成功しています。次のコマンドを使用してデーモンを閉じます。
stop-dfs.sh