1 前言
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。ambari项目的出现使得hadoop系列的组件可以在webUI中定制安装,并提供管理功能。
上期我们演示了怎么安装ambari集群:(大数据平台系列:使用ambari安装hadoop(一)),现在使用ambari来部署hadoop组件。
本文转自我个人的公众号:天目星 ,请大家多多关注。链接:前往天目星
零、准备
正所谓兵马未动粮草先行,我这边使用Local Repository来安装,所以需要提前搭建存储库。(相关操作涉及到yum命令,请提前预习)
1、安装相关软件
安装apache服务(也可以使用其他的web服务)
$ yum install httpd
安装yum组件
$ yum install yum-utils createrepo
2、使用reposync命令同步官方源码
同步ambari
新建存放ambari源码的目录
$ mkdir -p /var/www/html/ambari/centos7
$ cd /var/www/html/ambari/centos7
使用reposync下载源码
$ reposync -r ambari-2.7.3.0
PS1: 如果reposync发生报错,需要前往存储目录删除相应的rpm文件并使用reposync重新同步源码。
PS2: reposync -r 这个值ambari-2.7.3.0是根据官方yum源的名字下载
同步HDP与HDP-UTILS
新建存放HDP源码的目录
$ mkdir -p /var/www/html/hdp/centos7
$ cd /var/www/html/hdp/centos7
使用reposync下载源码
$ reposync -r HDP-3.1.0.0
$ reposync -r HDP-UTILS
3、生成存储库的元数据
如有报错,需要前往存储目录删除报错的文件,并使用reposync重新同步
createrepo /var/www/html/ambari/centos7/ambari-2.7.3.0
createrepo /var/www/html/hdp/centos7/HDP-3.1.0.0
createrepo /var/www/html/hdp/centos7/HDP-UTILS-1.1.0.22
4、准备指向本地库的repo文件
删除官方源repo文件
$ cd /etc/yum.repos.d
$ rm ambari.repo hdp.repo
新建本地源repo文件
vim /etc/yum.repos.d/ambari-local.repo
[ambari-2.7.3.0]
name=ambari-2.7.3.0
baseurl=http://192.168.159.65/ambari/centos7/ambari-2.7.3.0
gpgcheck=0
enabled=1
[HDP-3.1.0.0]
name=HDP-3.1.0.0
baseurl=http://192.168.159.65/hdp/centos7/HDP-3.1.0.0
gpgcheck=0
enabled=1
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.159.65/hdp/centos7/HDP-UTILS-1.1.0.22
gpgcheck=0
enabled=1
5、更新yum源
$ yum clean all
$ yum repolist
repo id repo name status
HDP-3.1.0.0 HDP-3.1.0.0 201
HDP-UTILS-1.1.0.22 HDP-UTILS-1.1.0.22 16
ambari-2.7.3.0 ambari-2.7.3.0 13
一、使用ambari-server
1、启动
可以使用ambari-server --help查询所有命令
$ ambari-server start
Using python /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start........................................
Server started listening on 8080
DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.
检查相关监听的端口
$ netstat -tnlp
Proto Recv-Q Send-Q Local Address State PID/Program name
tcp6 0 0 :::8441 LISTEN 2944/java
tcp6 0 0 :::3306 LISTEN 902/mysqld
tcp6 0 0 :::8080 LISTEN 2944/java
tcp6 0 0 :::8440 LISTEN 2944/java
2、使用浏览器登录ambari控制台
登录账号与密码默认都是:admin
http://YourhostIP:8080
管理ambari的用户
配置集群,添加需要加入ambari的节点
设置集群名称
选择需要安装HDP的版本,并设置使用本地存储库安装
填写本地的源码路径
添加节点
节点安装完毕,如报错可以点击查看原因
没有报错的状态
按自己的需求定制组件
本例选择了HDFS与zookeeper
配置相关组件的密码
组件的安装目录
组件使用的账户
组件的详细配置
组件复审,如无问题,点击"DEPLOY"
安装进度
完成后如有警告,可以点击查看原因
完成后我们可以进入service查看那些没有启动的服务,并重新启动它
选择相关service,点击start启动它
PS:ambari默认安装的HDFS没有启动HA(journal模式),需要自己配置
本期主要讲解ambari的安装与基本使用,其他功能,后续会再给大家演示。