注:VMware以外のインストールは
すべてroot権限で実行されます
1.ホスト名を変更します
1.ホスト名を表示しますhostname
。2。ホスト名を変更します。hostnamectl set-hostname master
または変更:
/etc/hostname
3.ホスト名を/ etc / hostsに書き込みます
IP地址 主机名
2.ファイアウォールをオフにします
1.ファイアウォールのステータスを確認します。firewall-cmd --state
| system status firewalld
2。ファイアウォールをオフにします。system stop firewalld
3.ssh
マスターノードがキーを生成しますssh-keygen -t rsa
。3回入力
してから、キーを他のノードにコピーします。
ssh-copy-id master
ssh-copy-id slave
4.jdkをインストールします
1. jdk圧縮パッケージをダウンロードします
。2。シェルソフトウェアを使用してホストにドラッグし
ます。3。圧縮パッケージを解凍しますtar -zxvf 版本号 -C 指定文件夹
。4。/ etc / profileファイルを変更し、以下を追加します。
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
注意是自己的版本,自己的安装路径
5.変更したファイルを有効にしますsource /etc/profile
。6。インストールが成功したかどうかをテストします。java -version
1-6すべてのノードすべてのノードが必要
5.Hadoopをインストールします
1. hadoop圧縮パッケージをダウンロードしてホストにアップロードし、圧縮パッケージを解凍します
。2。/ etc / profileファイルを変更して、以下を追加します。
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
3.変更したファイルを有効にしますsource /etc/profile
。4。新しいhdfs関連ディレクトリを作成します。
mkdir /home/hdfs
mkdir /home/hdfs/tmp
mkdir /home/hdfs/name
mkdir /home/hdfs/data
手順1〜4はすべてのノードで実行する必要があります
5.次に、hadoop構成を変更します。
ファイル名:hadoop_env.sh
/yarn-env.sh
パス:hadoop-2.9.2/etc/hadoop/(下同)
export JAVA_HOME=/usr/java/latest
ファイル名:core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
ファイル名:hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdfs/data</value>
</property>
</configuration>
ファイル名:mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
ファイル名:yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
ファイル名:slaves
将localhost去掉
添加集群主机:
master
slave1
slave2
将修改了的文件全部发送到从节点:
scp 路径+文件名 @从节点主机名:路径
eg: scp /opt/module/hadoop-2.9.2/etc/hadoop/yarn-site.xml @slave1:/opt/mudule-2.9.2/etc/hadoop/
6.Hadoopを起動します
1.最初にデータをフォーマットしますhadoop namenode -format
。2。3 start-all.sh
。jpd
表示するコマンドを入力します。