企业级大数据平台构建

一、平台基本功能

1. 数据接入

2. 数据存储和查询,存储模型应包括关系型模型,非关系型模型,文档模型等。

3. 数据计算,包括离线批处理,实时计算,机器学习,多维分析和全文检索。

4. 平台安全与管理,解决用户管理,数据隔离,访问授权,访问控制和集群服务安全等问题。

5. 平台辅助工具,如程序开发套件,任务管理,与调度系统,自助式数据探索分析系统。

二、集群服务器的角色分类

1. 主控节点

定义:不承担具体的数据存储和计算工作,而是负责全局统筹的任务分配,资源调配或是平衡集群负载,角色包括NameNode,HMaster,ResourceManager等。

2. 存储和计算节点

如Datenode,RegionServer和NodeManger等

3. 安全认证和管理节点

定义:负责集群的安保和管理工作。如kerberos协议的认证中心服务,cloudera manager,Ambari等。

4. 协同管理与其他节点

负责服务进程之间的交互和协同,例如心跳检查,配置同步,主控服务选举等,如zookeeper等。

猜你喜欢

转载自www.cnblogs.com/duaner92/p/9665240.html