[Hadoop] Hadoopのインストールと構成(疑似分散)

0準備

LinuxのJava環境の設定:https://blog.csdn.net/Tiezhu_Wang/article/details/113822949
Linuxのファイアウォールを閉じる:https://blog.csdn.net/Tiezhu_Wang/article/details/113861262
Firefoxのインストール:HTTPS:/ /blog.csdn.net/Tiezhu_Wang/article/details/113385544

1ダウンロード

公式ウェブサイト:https//hadoop.apache.org/releases.html
公式サイトダウンロード
またはBaidu Netdisk :リンク:https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A(抽出コード:xysm)

2インストール

/ usr / localディレクトリにhadoopをインストールします。

sudo tar -zxf ~/Downloads/hadoop-3.2.1.tar.gz -C /usr/local

ディレクトリに切り替えると、解凍が完了したことがわかり
解凍が完了しました
ます。ファイルのアクセス許可を変更します(ここでは、前の「hadoop」はシステムのユーザー名です)。

cd /usr/local
sudo chown -R hadoop ./hadoop-3.2.1/

3Hadoopが利用可能かどうかを確認します

Hadoopは解凍後に使用できます。次のコマンドを使用して、Hadoopのバージョンを表示します。

/usr/local/hadoop-3.2.1/bin/hadoop version

Hadoopが利用可能かどうかを確認します

4疑似分散構成

4.1Hadoop環境変数を設定する

vim ~/.bashrc

次の環境変数を追加します。

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

変更が終了すると、構成が有効になります。

source ~/.bashrc

任意のディレクトリに切り替えて、環境変数が正常に構成されているかどうかを確認します。

cd
hadoop version

バージョン情報は上記と同じで、構成は成功しています
構成は成功しました

4.2構成ファイルを変更する

Hadoop疑似配布では、core-site.xmlとhdfs-site.xmlの2つの構成ファイルを変更する必要があります。core
-site.xml:

cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./core-site.xml

次の構成を追加し、保存して終了します。

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop-3.2.1/tmp</value>
		<description>A base for other temporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

図に示すように:
コアサイト

hdfs-site.xml:

cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./hdfs-site.xml

次の構成を追加し、保存して終了します。

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/data</value>
	</property>
</configuration>

図に示すように:
hdfs-site

5構成が成功したかどうかを確認します

構成が完了したら、namenodeのフォーマットを実行します。

hdfs namenode -format

次のプロンプトが表示されたら、フォーマットは成功しています
フォーマット完了
。NameNodeデーモンとDataNodeデーモンを起動します。

start-dfs.sh

次に、jpsを使用して、起動が成功したかどうかを確認し
jps
ます。3つのノードプロセスが開始されたことを確認できます。また、ブラウザーからlocalhost:9870にアクセスして、HDFSのファイルを表示することもできます。

HDFS
入力後、最初のHDFSディレクトリを表示できます。
初期HDFS
上記の情報が表示された場合、構成は成功しています。次のコマンドを使用してデーモンを閉じます。

stop-dfs.sh

おすすめ

転載: blog.csdn.net/Tiezhu_Wang/article/details/113860404