集群系列-环境准备-hadoop和jdk的安装

版本准备hadoop2.7.7,jdk1.8.0_144
安装目录:/opt/module下
环境变量准备
添加变量的目录/etc/profile.d/env.d 可以自己创建该目录

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效
source /etc/profile.d/env.d

配置hadoop的环境

修改core-site.xml

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop/data/tmp</value>
</property>

修改hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>2</name>
</property>
<property>
	<name>dfs.namenode.secondary-httpaddress</name>
	<value>hadoop104:50090</name>
</property>

修改yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</name>
</property>

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</name>
</property>

<!--开启日志聚集功能-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</name>
</property>
<!--日志保留时间  7天-->
<property>
	<name>yarn.aggregation.retain-seconds</name>
	<value>604800</name>
</property>

修改mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<!--历史服务器地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop102:10020</name>
</property>
<!--配置历史服务器web地址-->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop102:19888</name>
</property>

在/opt/module/hadoop/etc/hadoop/slaves配置slaves
添加如下配置主要指定datanode在哪个结点上

hadoop102
hadoop103
hadoop104

在hdfs-env.sh 和 yarn-env.sh mapred-env.sh中奖JAVA_HOME取消注释并且设置未JAVA_HOME的路径

配置ssh免密登录

ssh-keygen -t rsa 生成密钥
ssh-copy-id hadoop102 奖公钥拷贝到其它的主机上
ssh-copy-id hadoop103 奖公钥拷贝到其它的主机上
ssh-copy-id hadoop104 奖公钥拷贝到其它的主机上

在namenode上进行格式化
bin/hdfs namenode -format
启动hdfs
sbin/start-dfs.sh

集群系列-环境准备-hadoop和jdk的安装

配置ssh免密登录

猜你喜欢