Cloudera Manager(CDH) VS Ambari(HDP)

CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化

https://www.cloudera.com/

HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心,包含pig、hive、phoniex、hbase、storm、spark等大量组件。

CDH有免费版本(可商用)及收费版本,而且免费版本基本够用。

如果生产环境,尽量使用CDH。

HDP会出现莫名其妙的问题,有时候部分服务无缘挂掉,有时候ambari无缘挂掉。(2019年时的文章)

原文链接:https://blog.csdn.net/cloudmq/article/details/100706966


运维过hadoop集群的人都应该清楚,hadoop生态从安装、配置到后期运维是一个非常艰辛的过程,一般来说安装hadoop可能就需要几天时间,运维一个小型集群同样需要几个人。ambari和cloudera Manager这两个系统,目的就是简化hadoop生态集群的安装、配置,同时提高hadoop运维效率,以及对hadoop集群进行监控。

Ambari是Apache软件基金顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘,比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。

Cloudera Manager是cloudera公司的一个产品,着重于帮助大家管理自己的CDH集群,通过Cloudera Manager统一的UI界面来快速地自动配置和部署CDH和其相关组件,同时Cloudera Manager还提供了各种丰富的可自定义化的监视诊断和报告功能,集群上统一的日志管理功能,统一的集群配置管理和实时配置变更功能,多租户功能,高可用容灾部署功能和自动恢复功能等, 方便企业统一管理和维护自己的数据中心。Cloudera Manager产品也是我们主要的安装内容和介绍对象。它细分为免费的Express版本和功能完全并提供众多增值服务的收费版本Enterprise。

原文链接:https://blog.csdn.net/liuxiao723846/article/details/79649506


1、什么是CDH,Ambari?

Ambari是Apache软件基金顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视Apache Hadoop集群,支持Hadoop HDFS、Hadoop MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘,比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。

Cloudera Manager是cloudera公司的一个产品,着重于帮助大家管理自己的CDH集群,通过Cloudera Manager统一的UI界面来快速地自动配置和部署CDH和其相关组件,同时Cloudera Manager还提供了各种丰富的可自定义化的监视诊断和报告功能,集群上统一的日志管理功能,统一的集群配置管理和实时配置变更功能,多租户功能,高可用容灾部署功能和自动恢复功能等, 方便企业统一管理和维护自己的数据中心。Cloudera Manager产品也是我们主要的安装内容和介绍对象。它细分为免费的Express版本和功能完全并提供众多增值服务的收费版本Enterprise

CDH简介 

Cloudera's Distribution, including Apache Hadoop

是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建

提供了Hadoop的核心:可扩展存储、分布式计算

基于Web的用户界面    

CDH的优点  

1)版本划分清晰

2)版本更新速度快

3)支持Kerberos安全认证

4)文档清晰

5)支持多种安装方式(Cloudera Manager方式

2、为什么需要他们

1)1000台服务器的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等

2)只给你一天时间,完成以上工作?

3)对于以上集群进行hadoop版本升级,你会选择什么升级方案,最少要花费多长时间?

4)新版本的Hadoop,与Hive、Hbase、Flume、Kafka、Spark等等兼容?

大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)

手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。

工具部署呢,比如Ambari或Cloudera Manger。(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具来,可以说是一键操作,难点都在工具Ambari或Cloudera Manger本身部署上。

              手工方式                  工具方式

难易度        难,几乎不可能成功              简单,易行

兼容性        自己解决组件兼容性问题            自动安装兼容组件

组件支持数      支持全部组件                 支持常用组件

优点         对组件和集群管理深刻              简单、容易、可行

缺点         太复杂,不可能成功              屏蔽太多细节,妨碍对组件理解

工具名   所属机构   开源性   社区支持性   易用性、稳定性   市场占有率

Cloudera Manger  Cloudera  商用   不支持     易用、稳定         高

Ambari      Hortonwork   开源   支持      较易用、较稳定    较高

出版商:

hortonworks研发了Ambari和hdp的大数据分析集成平台

cloudera研发了cloudera manger和cdh大数据分析集成平台

稳定性:

cloudera相对来说比较稳定

ambari相对来说不稳定(页面打开速度慢)

资源消耗:

cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor总共大概1G。

ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G。

集群重启:

cloudera支持滚动重启(hdfs需要设计成ha,才能滚动重启)

ambari支持滚动重启(hdfs需要设计成ha,才能滚动重启)

集群升级(一般来讲不要轻易升级集群):

cloudera不支持滚动升级服务

ambari支持滚动升级服务(这个是ambari的优点,hdfs必须是ha)

二次开发:

cloudera不支持

ambari支持

服务版本:

cloudera较老

ambari较新

服务集成性:

cloudera较弱

ambari较强,支持es、redis、presto、kylin等

体验效果:

cloudera好

ambari相对差

安装过程:

cloudera复杂

ambari简单

邮件报警:

cloudera支持不好

ambari支持很好

安装包:

cloudera是parcel包

ambari是rpm包

总结:

不要轻易升级组件版本

如果对集成性要求高,稳定性相对弱点的,可以选择ambari

如果对稳定性要求高,集成性相对弱点的,可以选择cloudera

打算对新建的hadoop集群使用管理工具,列了以下主要的不同点:

主要的不同点 apache Ambari ClouderaManager Express(免费版)
配置版本控制和历史记录 支持 不支持
二次开发 支持 不支持
集成 支持 no (不支持redis、kylin、es)
维护 依靠社区力量 cloudera做了一些定制开发,自行维护或打patch会离社区越来越远
权限控制 ranger(相对简单) sentry(复杂)
视图定制 支持创建自己的视图,添加自定义服务 不支持

新建的集群综合需要集成es、kylin等技术,以及维护和二次开发等支持,决定使用Ambari

转自:CDH 和ambari之间的比较_ambari与cdh_千淘万漉的博客-CSDN博客

猜你喜欢

转载自blog.csdn.net/fuhanghang/article/details/132185072