大数据平台系列:使用ambari安装hadoop(二)

1 前言   

   Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。ambari项目的出现使得hadoop系列的组件可以在webUI中定制安装,并提供管理功能。

   上期我们演示了怎么安装ambari集群:(大数据平台系列:使用ambari安装hadoop(一)),现在使用ambari来部署hadoop组件。

   本文转自我个人的公众号:天目星    ,请大家多多关注。链接:前往天目星


零、准备

正所谓兵马未动粮草先行,我这边使用Local Repository来安装,所以需要提前搭建存储库。(相关操作涉及到yum命令,请提前预习)

1、安装相关软件

安装apache服务(也可以使用其他的web服务)$ yum install httpd
安装yum组件$ yum install yum-utils createrepo

2、使用reposync命令同步官方源码

同步ambari

新建存放ambari源码的目录$ mkdir -p /var/www/html/ambari/centos7$ cd /var/www/html/ambari/centos7
使用reposync下载源码$ reposync -r ambari-2.7.3.0

PS1: 如果reposync发生报错,需要前往存储目录删除相应的rpm文件并使用reposync重新同步源码。

PS2: reposync -r 这个值ambari-2.7.3.0是根据官方yum源的名字下载

同步HDP与HDP-UTILS

新建存放HDP源码的目录$ mkdir -p /var/www/html/hdp/centos7$ cd /var/www/html/hdp/centos7
使用reposync下载源码$ reposync -r HDP-3.1.0.0$ reposync -r HDP-UTILS

3、生成存储库的元数据

如有报错,需要前往存储目录删除报错的文件,并使用reposync重新同步createrepo /var/www/html/ambari/centos7/ambari-2.7.3.0createrepo /var/www/html/hdp/centos7/HDP-3.1.0.0createrepo /var/www/html/hdp/centos7/HDP-UTILS-1.1.0.22

4、准备指向本地库的repo文件

删除官方源repo文件$ cd /etc/yum.repos.d$ rm ambari.repo hdp.repo
新建本地源repo文件vim /etc/yum.repos.d/ambari-local.repo
[ambari-2.7.3.0]name=ambari-2.7.3.0baseurl=http://192.168.159.65/ambari/centos7/ambari-2.7.3.0gpgcheck=0enabled=1
[HDP-3.1.0.0]name=HDP-3.1.0.0baseurl=http://192.168.159.65/hdp/centos7/HDP-3.1.0.0gpgcheck=0enabled=1
[HDP-UTILS-1.1.0.22]name=HDP-UTILS-1.1.0.22baseurl=http://192.168.159.65/hdp/centos7/HDP-UTILS-1.1.0.22gpgcheck=0enabled=1

5、更新yum源

$ yum clean all
$ yum repolistrepo id                repo name                statusHDP-3.1.0.0            HDP-3.1.0.0              201HDP-UTILS-1.1.0.22     HDP-UTILS-1.1.0.22       16ambari-2.7.3.0         ambari-2.7.3.0           13

一、使用ambari-server

1、启动

可以使用ambari-server --help查询所有命令
$ ambari-server startUsing python  /usr/bin/pythonStarting ambari-serverAmbari Server running with administrator privileges.Organizing resource files at /var/lib/ambari-server/resources...Ambari database consistency check started...Server PID at: /var/run/ambari-server/ambari-server.pidServer out at: /var/log/ambari-server/ambari-server.outServer log at: /var/log/ambari-server/ambari-server.logWaiting for server start........................................Server started listening on 8080
DB configs consistency check: no errors and warnings were found.Ambari Server 'start' completed successfully.
检查相关监听的端口$ netstat -tnlpProto Recv-Q Send-Q Local Address   State   PID/Program nametcp6      0     0   :::8441         LISTEN  2944/javatcp6      0     0   :::3306         LISTEN  902/mysqldtcp6      0     0   :::8080         LISTEN  2944/java tcp6      0     0   :::8440         LISTEN  2944/java

2、使用浏览器登录ambari控制台

登录账号与密码默认都是:adminhttp://YourhostIP:8080

管理ambari的用户

配置集群,添加需要加入ambari的节点

设置集群名称

选择需要安装HDP的版本,并设置使用本地存储库安装

填写本地的源码路径

添加节点

节点安装完毕,如报错可以点击查看原因

没有报错的状态

按自己的需求定制组件

本例选择了HDFS与zookeeper

配置相关组件的密码

组件的安装目录

组件使用的账户

组件的详细配置

组件复审,如无问题,点击"DEPLOY"

安装进度

完成后如有警告,可以点击查看原因

完成后我们可以进入service查看那些没有启动的服务,并重新启动它

选择相关service,点击start启动它

PS:ambari默认安装的HDFS没有启动HA(journal模式),需要自己配置

本期主要讲解ambari的安装与基本使用,其他功能,后续会再给大家演示。

请关注我的个人公众号

猜你喜欢

转载自blog.csdn.net/Gordon_luo/article/details/92761312