1.克隆两个节点
2.修改静态IP
3.修改主机名:【master(主),slave1(从),slave2(从)】
4.修改IP和主机名的映射:【/etc/hosts】
5.SSH无密登录:
a.修改hostname
$>su root
$>gedit /etc/sysconfig/network
【HOSTNAME=master】
b.修改hosts文件
$>gedit /etc/hosts
【在文件后追加:IP 主机名:192.168.154.128 master】
c.reboot
d.生成密钥
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
【说明:-t设置生成密钥的算法,采用的rsa;-P设置密码,默认为空;-f设置密钥生成的文件位置,~/.ssh】
e.生成认证库
$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
f.修改认证库权限为600
$>chmod 600 ~/.ssh/authorized_keys
g.ssh master
6.解压相关软件
$>tar -zxvf jdk1.8.xxx.tar.gz
$>tar -zxvf hadoop-2.7.3.tar.gz
7.创建软连接
$>ln -s jdk1.8.0_121/ jdk
$>ln -s hadoop-2.7.3/ hadoop
8.修改环境变量
$>cd ~
$>gedit .bash_profile
在文件最后追加以下命令:
#jdk install
export JAVA_HOME=/home/hyxy/soft/jdk/jdk
export PATH=$JAVA_HOME/bin:$PATH
#hadoop install
export HADOOP_HOME=/home/hyxy/soft/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOMR/sbin:$PATH
$>source .bash_profile
注意:刷新完之后,当前会话可用,建议reboot(重启)
9.修改hadoop配置文件
a.core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hyxy/tmp/hadoop</value>
</property>
b.hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
c.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>
The runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn.
</description>
</property>
d.yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>A comma separated list of services where service name should only
contain a-zA-Z0-9_ and can not start with numbers</description>
</property>
<property>
<description>The hostname of the RM.</description>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
e.slaves
添加datanode节点名称,以行为准
slave1
slave2
f.hadoop-env.sh
#配置JAVA_HOME
【注意:
1).将hosts文件分发所有从节点:
$>scp /etc/hosts hyxy@slave1:/etc/
$>scp /etc/hosts hyxy@slave2:/etc/
2).将hadoop目录分发到所有从节点
$>scp -r ~/soft/hadoop/ hyxy@slave1:/home/hyxy/soft
$>scp -r ~/soft/hadoop/ hyxy@slave2:/home/hyxy/soft
】
10.格式化
a. 删除hadoop.tmp.dir设置路径下的所有文件(所有节点)
b. 删除HADOOP_LOG_DIR设置路径下的日志文件(所有节点)
c. 格式化:
$>hdfs namenode -format(主节点)
11.开启完全分布式
$>start-all.sh