Cloudera的软件体系结构中包含了以下模块:
系统部署和管理,数据存储,资源管理,处理引擎,安全,数据管理,工具库以及访问接口。
一些关键组件的角色信息:
硬件配置
集群服务器按照节点承担的任务分为管理节点和工作节点。
管理节点上一般部署各组件的管理角色;
工作节点一般部署有各角色的存储、容器或计算角色。
根据业务类型不同,集群具体配置也有所区别:
1. 实时流处理服务集群:Hadoop实时流处理性能对节点内存和CPU有较高要求,基于Spark Streaming的流处理消息吞吐量可随着节点数量增加而线性增长。