CentOS7部署CDH6.0.1大数据平台

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Spark、 Hbase、Zookeeper、Sqoop等,简化了大数据平台的安装、使用难度。本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下:

  • https://archive.cloudera.com/cdh6/6.0.1/parcels/
  • https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/

实施环境

主机名 IP 配置 操作系统 角色
c1.heboan.com 9.110.187.120 2核/8G CentOS Linux release 7.2.1511 cm-server、cm-agent、mariadb5.5
c2.heboan.com 9.110.187.121 2核/8G CentOS Linux release 7.2.1511 cm-agent
c3.heboan.com 9.110.187.122 2核/8G CentOS Linux release 7.2.1511 cm-agent

环境说明:

  该环境配置非生产环境配置,是本人虚拟机的配置,一般企业大数据平台资源配置可如下参考:

  测试集群环境:

    机器数量: 5-10台

    机器配置: 硬盘(4TB)、内存(24G-32G)、CPU(6核)、网卡(万兆)

  生产集群环境:

    小型集群: 20台以下

    中型集群: 50台以下

    大型集群: 50台以上

猜你喜欢

转载自www.cnblogs.com/sellsa/p/10073761.html