大数据集群的配置

版权声明:转载请标明出处 https://blog.csdn.net/root__oo7/article/details/86358718

为什么要用Ambari
Ambari 是 Apache Software Foundation 中的一个顶级项目。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的整个生态圈产品(例如 Hive,Hbase,Sqoop,Zookeeper 等)。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

对于那些苦苦花费好几天去安装、调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的。而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。

概念概述
Stack :堆 版本号 一批Service的集合
Service:产品 如Hive,HBase等
Module:Service中的一部分
Alert:警告
Host:节点 可以理解为一个虚拟机
Ambari Agent:每个Host上的管理员
Ambari Server:通过与每个Agent保持通话,操控并了解所有信息(host、service等运行情况和资源状态)并提供GUI
View:ambari通过框架 Ambari Views framework ,允许第三方对组件进行扩展,如hdfs的目录管理等。目前支持Tez、Hive、Pig、Capacity Scheduler(YARN)、Files(HDFS)

原理简介
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。

安装
安装须知:

所有操作都要使用root用户,且系统不要有其他用户,ssh的密钥也都是基于root用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 】
hostname都要使用FQDN格式,具体参照【配置】的第三步
所有节点都安装ntpd服务 可参考CentOS7 中使用NTP进行时间同步
切记 一定要从空机装起,尤其是以前搭过hadoop环境的。
ambari使用向导(仅仅是使用)
ambari只能管理一个集群
再次说明 ambari版本:2.4.2.0;操作系统:CentOS7

安装流程:
https://www.jianshu.com/p/835bed227455

猜你喜欢

转载自blog.csdn.net/root__oo7/article/details/86358718