在此说明,本人用的是普通用户(如hadoop)
一、创建三台虚拟机
如何创建在本人博客里有详细介绍,这里就不详细介绍了。
二、修改IP,以及主机名等
1、修改IP:
sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR:对应自己设置的IP,但是前三个数字要和虚拟网络编辑器中的NAT模式下的子网一样:
ONBOOT:设置为yes
BOOTPROTO:设置为static
GATEWAY:前上个数和子网一样,最后一个数为2
DNS1:设置为和GATEWAY一样,或者设置为8.8.8.8:
2、修改主机名:
sudo vi /etc/sysconfig/network
修改为自己想设置的名字(如hadoop01)
查看是否修改成功:
hostname
3、配置IP对应的主机名:
sudo vi /etc/hosts
在配置文件中添加IP对应的主机名
4、关闭防火墙:
一次关闭:
sudo service iptables status:查看防火墙的状态
sudo service iptables stop:关闭防火墙
关闭开机自启动:
sudo chkconfig iptables off
5、记得重启下服务:
sudo service network restart
三、实现ssh免密登录
如果三台机器用来搭建集群,可以将namenode所在的机器来免密其他两台。
在namenode上执行如下命令:
1、进入到:
cd ~/.ssh
2、生成公钥和密钥:
ssh-keygen`
然后敲(三个回车),就会生成两个文件id_rsa(私钥),id_rsa.pub(公钥)
3、将公钥拷贝到要免密登录的目标机器上:
ssh-copy-id 目标机器IP(如果配置了IP对应的主机名,在此可以写主机名)
ssh-copy-id 目标机器IP
4、测试是否免密成功:
ssh 主机名
第一次需要输入密码,但是再次测试,就不需要输入密码,直接登录进去
四、实现时间同步
1、查看当前时间:
date
2、显示硬件时间:
sudo hwclock
3、调整时区:
sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc//localtime
4、下载Linux时间同步服务软件(ntpdate):
sudo yum -y install ntpdate
5、同步网络时间:
sudo ntpdate time.nuri.net
6、同步时间成功后调整硬件时间:
sudo hwclock -w
7、同步成功,测试一下:
date
sudo hwclock
五、安装jdk,三台都需要安装
如何进行安装,本人博客中有详细介绍,可前往浏览!!!
六、安装hadoop,配置集群 集群部署规划:
1、添加压缩包
将hadoop压缩包放到“/home/hadoop/tools”下,三台都要放
2、解压
将压缩包解压,并解压到“/home/hadoop/install/”下
3、配置全局的hadoop
将hadoop配置到/etc/profile中:
4、修改配置文件(先修改一台,改好之后分发)
如何配置在本人的博客中,还得劳烦读客前去翻阅!!!
5、配置完成后,使用命令分发
七、使用脚本,实现同步命令
1、在每台机器上安装rsync:
sudo yum -y install rsync
2、将编写的xsync脚本放到/usr/local/bin下
3、进入到/usr/local/bin下:
cd /usr/local/bin/
4、为xsync脚本赋权:
sudo chmod 777 xsync
赋权后,文件颜色如此:
5、将配置好的机器上的配置文件分发到其他两台机器上:
(1)core-site.xml
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hadoop-env.sh
(3)hdfs-site.xml
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml
(4)slaves
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/slaves
(5)yarn-env.sh
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/yarn-env.sh
(6)yarn-site.xml
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/yarn-site.xml
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/mapred-env.sh
(8)mapred-site.xml
xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/mapred-site.xml
八、集群搭建完成,启动测试
1、如果集群是第一次启动,需要格式化 namenode :
hdfs namenode -format
2、启动HDFS:
start-dfs.sh
3、启动YARN:
start-yarn.sh
注意:Namenode 和 ResourceManger 如果不是同一台机器,不能在 NameNode 上启动 yarn,应该在 ResouceManager 所在的机器上启动yarn。
4、通过Web界面查看是否集群启动成功:
(1)HDFS的Web访问界面:
http://192.168.85.128:50070
显示此界面表示启动成功:
(2)YARN的Web访问界面:
http://192.168.85.130:8088
显示此界面表示启动成功:
望各位大神留下你珍贵的足迹!!!需要的软件可以去资源中下载。。。