快速入门CDH(Cloudera Hadoop)集群的搭建

在此说明,本人用的是普通用户(如hadoop)

一、创建三台虚拟机

如何创建在本人博客里有详细介绍,这里就不详细介绍了。

二、修改IP,以及主机名等

1、修改IP:

sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0 

在这里插入图片描述
IPADDR:对应自己设置的IP,但是前三个数字要和虚拟网络编辑器中的NAT模式下的子网一样:
在这里插入图片描述
ONBOOT:设置为yes
BOOTPROTO:设置为static
GATEWAY:前上个数和子网一样,最后一个数为2
DNS1:设置为和GATEWAY一样,或者设置为8.8.8.8:

2、修改主机名:

sudo vi /etc/sysconfig/network

修改为自己想设置的名字(如hadoop01)
在这里插入图片描述
查看是否修改成功:

hostname

3、配置IP对应的主机名:

sudo vi /etc/hosts

在配置文件中添加IP对应的主机名
在这里插入图片描述

4、关闭防火墙:

一次关闭:

sudo service iptables status:查看防火墙的状态
sudo service iptables stop:关闭防火墙

关闭开机自启动:

sudo chkconfig iptables off

5、记得重启下服务:

sudo service network restart

三、实现ssh免密登录

如果三台机器用来搭建集群,可以将namenode所在的机器来免密其他两台。
在namenode上执行如下命令:

1、进入到:

cd ~/.ssh

2、生成公钥和密钥:

ssh-keygen`

然后敲(三个回车),就会生成两个文件id_rsa(私钥),id_rsa.pub(公钥)
在这里插入图片描述

3、将公钥拷贝到要免密登录的目标机器上:

ssh-copy-id 目标机器IP(如果配置了IP对应的主机名,在此可以写主机名)
ssh-copy-id 目标机器IP

4、测试是否免密成功:

ssh 主机名

第一次需要输入密码,但是再次测试,就不需要输入密码,直接登录进去
在这里插入图片描述

四、实现时间同步

1、查看当前时间:

date

2、显示硬件时间:

sudo hwclock

3、调整时区:

sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc//localtime 

4、下载Linux时间同步服务软件(ntpdate):

sudo yum -y install ntpdate

5、同步网络时间:

sudo ntpdate time.nuri.net

6、同步时间成功后调整硬件时间:

sudo hwclock -w

7、同步成功,测试一下:

date
sudo hwclock

五、安装jdk,三台都需要安装

如何进行安装,本人博客中有详细介绍,可前往浏览!!!

六、安装hadoop,配置集群 集群部署规划:

1、添加压缩包

将hadoop压缩包放到“/home/hadoop/tools”下,三台都要放

2、解压

将压缩包解压,并解压到“/home/hadoop/install/”下

3、配置全局的hadoop

将hadoop配置到/etc/profile中:
在这里插入图片描述

4、修改配置文件(先修改一台,改好之后分发)

如何配置在本人的博客中,还得劳烦读客前去翻阅!!!

5、配置完成后,使用命令分发

七、使用脚本,实现同步命令

1、在每台机器上安装rsync:

sudo yum -y install rsync

2、将编写的xsync脚本放到/usr/local/bin下

3、进入到/usr/local/bin下:

cd /usr/local/bin/

4、为xsync脚本赋权:

sudo chmod 777 xsync

赋权后,文件颜色如此:
在这里插入图片描述

5、将配置好的机器上的配置文件分发到其他两台机器上:

(1)core-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml

(2)hadoop-env.sh

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hadoop-env.sh

(3)hdfs-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml

(4)slaves

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/slaves

(5)yarn-env.sh

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/yarn-env.sh

(6)yarn-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/yarn-site.xml

(7)mapred-env.sh

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/mapred-env.sh

(8)mapred-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/mapred-site.xml

八、集群搭建完成,启动测试

1、如果集群是第一次启动,需要格式化 namenode :

hdfs namenode -format

2、启动HDFS:

start-dfs.sh

3、启动YARN:

start-yarn.sh

注意:Namenode 和 ResourceManger 如果不是同一台机器,不能在 NameNode 上启动 yarn,应该在 ResouceManager 所在的机器上启动yarn。

4、通过Web界面查看是否集群启动成功:

(1)HDFS的Web访问界面:

http://192.168.85.128:50070

显示此界面表示启动成功:
在这里插入图片描述

(2)YARN的Web访问界面:

http://192.168.85.130:8088

显示此界面表示启动成功:
在这里插入图片描述

望各位大神留下你珍贵的足迹!!!需要的软件可以去资源中下载。。。

猜你喜欢

转载自blog.csdn.net/qq_41428711/article/details/84573946