大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

部署主节点以及安装服务请看上
http://blog.51cto.com/6989066/2173573

(八)节点的扩展(以HDFS为例)
① 从节点的准备工作
安装一台新的Linux
从节点只需要安装l Server With GUI
l Development Tools,不需要安装MariaDB Server

关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
配置主机名:编辑/etc/hosts文件(主节点也需要加入从节点的信息)
配置免密码登录(各个节点之间,都需要配置)
安装JDK
挂载光盘:mount /dev/cdrom /mnt
删除原来的所有repo文件
创建yum的源文件: vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///mnt
enabled=1
gpgcheck=0
开启NTP服务
所有节点都需要操作
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
在新节点上创建目录:mkdir -p /var/lib/ambari-agent/data
② 添加一个新的节点,如下图所示:
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
PS:截图的时候所有Ambari服务已经停了,所以有很多alerts
③ 配置新节点的主机信息和私钥文件
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
主机名与linux虚拟机host保持一致
私钥在.ssh/id_rsa目录,可用cat .ssh/id_rsa.pub查看大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
④ 确认主机信息
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)![]
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
⑤ 部署一个新的DataNode到新的节点
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
⑥ 确认部署信息,并部署
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
⑦ 部署成功,并在从节点上执行jps命令检查新的DataNode

大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

九)启用HA(以NameNode为例)
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

① 按照上一节的步骤,在集群中再添加一个新的节点,并部署DataNode。
② 将ZooKeeper服务部署到三个节点上,并启动。
选择:“Service Actions” ---> “Add ZooKeeper Server”
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
③ 重启所有的ZooKeeper服务
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

注意:如果遇到有的节点无法启动,在Console上重启所有的服务。正常情况下,应该是所有服务都能正常启动。
④ 为HDFS NameNode添加HA的服务
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑤ 输入一个NameService
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑥ 配置NameNode HA

大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑦ 检查配置信息
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑧ 需要手动配置的内容,执行下面的命令:
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

1.Login to the NameNode host mydemo71.
2.Put the NameNode in Safe Mode (read-only mode):
a)sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

3.Once in Safe Mode, create a Checkpoint:
a)sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

4.You will be able to proceed once Ambari detects that the NameNode is in Safe Mode and the Checkpoint has been created successfully.

⑨ 开始进行HA的配置:
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑩ 需要手动配置的内容,执行下面的命令:
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
⑪ 启动HA
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑫ 需要手动配置的内容,执行下面的命令:
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑬ 进行最后的安装配置
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

⑭ 验证HA:(非必需步骤)如果一个NameNode宕机,验证是否会进行自动的切换。大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

(十)删除节点和服务(非必要步骤,有实际需求时再删除)

(1)停止要删除节点(hdp23)上的所有服务
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

(3)删除HDFS、Yarn、MapReduce2服务
(4)删除节点hdp22,只保留hdp21
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)![]

(5)停止所有服务,并将hdp21的内存改为8g(可选步骤)
注意:由于需要重启虚拟机,一定要重新挂载光盘

6)重新部署HDFS、Yarn、MapReduce2服务。注意清空下面的目录:
namenode /root/training/bigdata/namenode
datanode /root/training/bigdata/datanode
yarn.nodemanager.local-dirs /root/training/bigdata/nodemanager/local
yarn.nodemanager.log-dirs /root/training/bigdata/nodemanager/log
所有密码 password

十一)安装部署其他服务(内存8g)
注意:一定保证httpd service和yum的源可用。
(1)部署Hive和Pig
注意:
Hive的执行引擎需要选择:MapReduce,如下图
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)

大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
(2)部署Flume和Sqoop:很简单。
(3)部署Spark:很简单。
(4)部署Kafka:很简单。
(5)部署Storm:很简单。
(6)部署Mahout:很简单。

到这里HDP的部署工作就完成了,如果你有任何意见或者建议,欢迎你在下方留言。
如果这篇博客有帮到你,欢迎你点个赞哦!

猜你喜欢

转载自blog.51cto.com/6989066/2175476
今日推荐