クラスターシリーズ-環境の準備-hadoopとjdkのインストール

バージョン準備hadoop2.7.7、jdk1.8.0_144
インストールディレクトリ：
環境変数準備中の/ opt / module変数を
追加するためのディレクトリ/etc/profile.d/env.dこのディレクトリは自分で作成できます

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

環境変数を有効にする
source /etc/profile.d/env.d

hadoop環境を構成する

1. core-site.xmlを変更します

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop/data/tmp</value>
</property>

2. hdfs-site.xmlを変更します

<property>
	<name>dfs.replication</name>
	<value>2</name>
</property>
<property>
	<name>dfs.namenode.secondary-httpaddress</name>
	<value>hadoop104:50090</name>
</property>

3. ヤーンサイト.xmlを変更する

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</name>
</property>

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</name>
</property>

<!--开启日志聚集功能-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</name>
</property>
<!--日志保留时间  7天-->
<property>
	<name>yarn.aggregation.retain-seconds</name>
	<value>604800</name>
</property>

4. mapred-site.xmlを変更します

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<!--历史服务器地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop102:10020</name>
</property>
<!--配置历史服务器web地址-->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop102:19888</name>
</property>

5. 
   次の構成を/ opt / module / hadoop / etc / hadoop / slavesに追加して、データノードが存在するノードを指定するようにスレーブを構成します

hadoop102
hadoop103
hadoop104

6. hdfs-env.shおよびyarn-env.shmapred-env.shでJAVA_HOMEを獲得し、コメントを解除して、JAVA_HOMEなしでパスを設定します

SSHパスワードなしのログインを構成する

ssh-keygen
-trsaキーの生成ssh-copy-idhadoop102賞の公開鍵を他のホスト
にコピーしますssh-copy-idhadoop103賞の公開鍵を他のホスト
にコピーしますssh-copy-idhadoop104賞の公開鍵をにコピーします他のホスト

namenodeでのフォーマット
bin/hdfs namenode -format
Starthdfs
sbin/start-dfs.sh