大集群一致环境搭建--centos7.4-hadoop2.7.6-hbase0.98-phoenix4.13.1

---------Hadoop安装------------------


virtualbox安装centos7教程参考:

https://jingyan.baidu.com/article/4dc4084868a1e4c8d946f133.html

1.安装环境:操作系统[Mac];虚拟机[virtualbox];

Mac的virtualbox,鼠标切换快捷键:长按command;

注意这里的网口名是:enp0s3;(不是一般的eth0);

SECURITY POLICY 安装过程这一步,记得改左下角的HOST NAME;

如果忘记了,hostnamectl set-hostname master;

查看主机名命令:hostnamectl;

centos7自带jdk1.8,都在/usr/lib/jvm/目录下,写入对应的即可;

局域网ip变化,清除/root/.ssh/known_hosts即可;

2.目标环境:

centos7.4
jdk1.8
Hadoop 2.7.6
HBase 0.98.23-hadoop2
phoenix4.13
内存:2G、硬盘:40G

三个节点:master,slave1,slave2

step1:安装系统centos7(centos7默认jdk1.8)

这是主节点的安装:主机名master;

安装之后是NAT联网状态;

step2:centos7没有jps问题

https://blog.csdn.net/u014729236/article/details/50264079

yum list | grep jdk-devel(注意有空格)

done!

step3:下载Hadoop

下载(注意:以root用户登录,点击Not Listed?,用户名root)(此时是NAT联网状态,先下载下Hadoop安装包,之后会切换成host-only,不能连接外网)

#下载  
wget http://apache.claz.org/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
#解压  
tar -xzvf  hadoop-2.7.6.tar.gz    -C /usr/local 
#重命名   
mv  hadoop-2.7.6  hadoop

step4:master网络切换为host-only,reboot;

slave1和slave2安装操作系统(完全复制会导致ip重复问题),处理jps问题,切换host-only, reboot;

step5:Hadoop部署

http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html

1.centos7关闭防火墙 systemctl stop firewalld


--------------HBASE安装-------------------------

参考教程:

http://www.ityouknow.com/hbase/2017/07/25/hbase-cluster-setup.html

step1:HBASE安装包从集群上拽下来

注意:

1.环境变量所有节点都要配置;

2.并不是完全按照教程,配置多一些/少一些;

step2:按教程;

注意:

启动HBASE是记得关闭所有节点的防火墙;

注意:

乱七八糟的事情导致hbase的hmaster或hregionserver秒挂或起不来,

hadoop dfs -rm -r /hbase

删除后可能导致org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG问题,见上一篇文章6、7条;

或者看看logs:

java.net.NoRouteToHostException: 没有到主机的路由:关闭防火墙或者主机down掉了,看看能不能ping通;

step3:同步时钟;(注意同步时钟,否则csvbuldload报错!)

https://blog.csdn.net/jiangheng0535/article/details/10287609

注意:

centos7 启动ntp命令:

systemctl start ntpd

用ntpstat查看重启情况:

unsynchronised OR synchronised to NTP server (202.112.10.36) at stratum 3

注意:

我还注释掉了(主节点和从节点)

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

注意:

每次master reboot之后,重新关闭防火墙并重启ntp服务,否则slave节点无法ntpdate同步:报错如下

no server suitable for synchronization found

step4:Phoenix从集群上拽下来,按教程安装;

https://blog.csdn.net/bingoxubin/article/details/78626550



---------准备&上传实验数据-------------

用给集群准备的数据;

上传代码install;

测试csvbuldload(建表,执行csvbuldloads);

2G内存,不够用,所以主机down掉了;

应该是virtualbox5.0使用Host-only网络时的bug,下载最新版本virtualbox;


总结:

1.关闭防火墙;

2.出问题尤其是HBASE,看日志;

3.通过那个ApplicationMaster跟踪job执行进度;







猜你喜欢

转载自blog.csdn.net/xerjava/article/details/80222023
今日推荐