Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Spark、 Hbase、Zookeeper、Sqoop等,简化了大数据平台的安装、使用难度。本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下:
- https://archive.cloudera.com/cdh6/6.0.1/parcels/
- https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
实施环境
主机名 | IP | 配置 | 操作系统 | 角色 |
c1.heboan.com | 9.110.187.120 | 2核/8G | CentOS Linux release 7.2.1511 | cm-server、cm-agent、mariadb5.5 |
c2.heboan.com | 9.110.187.121 | 2核/8G | CentOS Linux release 7.2.1511 | cm-agent |
c3.heboan.com | 9.110.187.122 | 2核/8G | CentOS Linux release 7.2.1511 | cm-agent |
环境说明:
该环境配置非生产环境配置,是本人虚拟机的配置,一般企业大数据平台资源配置可如下参考:
测试集群环境:
机器数量: 5-10台
机器配置: 硬盘(4TB)、内存(24G-32G)、CPU(6核)、网卡(万兆)
生产集群环境:
小型集群: 20台以下
中型集群: 50台以下
大型集群: 50台以上