完全に分散されたHadoopインストール(centos7)

注:VMware以外のインストールは
すべてroot権限で実行されます

1.ホスト名を変更します

1.ホスト名を表示しますhostname
。2。ホスト名を変更します。hostnamectl set-hostname master

または変更:/etc/hostname

3.ホスト名を/ etc / hostsに書き込みます

IP地址 主机名

2.ファイアウォールをオフにします

1.ファイアウォールのステータスを確認します。firewall-cmd --state| system status firewalld
2。ファイアウォールをオフにします。system stop firewalld

3.ssh

マスターノードがキーを生成しますssh-keygen -t rsa
。3回入力
してから、キーを他のノードにコピーします。

ssh-copy-id master
ssh-copy-id slave

4.jdkをインストールします

1. jdk圧縮パッケージをダウンロードします
。2。シェルソフトウェアを使用してホストにドラッグし
ます。3。圧縮パッケージを解凍しますtar -zxvf 版本号 -C 指定文件夹
。4。/ etc / profileファイルを変更し、以下を追加します。

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
注意是自己的版本,自己的安装路径

5.変更したファイルを有効にしますsource /etc/profile
。6。インストールが成功したかどうかをテストします。java -version

1-6すべてのノードすべてのノードが必要

5.Hadoopをインストールします

1. hadoop圧縮パッケージをダウンロードしてホストにアップロードし、圧縮パッケージを解凍します
。2。/ etc / profileファイルを変更して、以下を追加します。

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3.変更したファイルを有効にしますsource /etc/profile
。4。新しいhdfs関連ディレクトリを作成します。

mkdir /home/hdfs
mkdir /home/hdfs/tmp
mkdir /home/hdfs/name
mkdir /home/hdfs/data

手順1〜4はすべてのノードで実行する必要があります

5.次に、hadoop構成を変更します。
ファイル名:hadoop_env.sh /yarn-env.sh
パス:hadoop-2.9.2/etc/hadoop/(下同)

export JAVA_HOME=/usr/java/latest 

ファイル名:core-site.xml

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hdfs/tmp</value>
	</property>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://master:9000</value>
	</property>
</configuration>

ファイル名:hdfs-site.xml:

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.name.dir</name>
		<value>/home/hdfs/name</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/home/hdfs/data</value>
	</property>
</configuration>

ファイル名:mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

ファイル名:yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
</configuration>

ファイル名:slaves

将localhost去掉
添加集群主机:
master
slave1
slave2
将修改了的文件全部发送到从节点:
scp 路径+文件名 @从节点主机名:路径
eg: scp /opt/module/hadoop-2.9.2/etc/hadoop/yarn-site.xml @slave1:/opt/mudule-2.9.2/etc/hadoop/

6.Hadoopを起動します

1.最初にデータをフォーマットしますhadoop namenode -format
。2。3 start-all.sh
jpd表示するコマンドを入力します。
正常に作成されました

おすすめ

転載: blog.csdn.net/weixin_45936162/article/details/112274414