目录
0.CDH介绍
- ClouderaManager架构
Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机
Management Service:执行各种监控、报警和报告功能的一组角色的服务。
Database:存储配置和监控信息 (元数据)
Cloudera Repository:可供Cloudera Manager分配的软件的存储库
Client:用于与服务器进行交互的接口
Admin Console:管理员控制台
API:开发人员使用 API可以创建自定义的Cloudera Manager应用程序
1.Linux 虚拟机基础环境(-SQL 安装完)
IP | 主机名 | 环境配置 | 安装 |
---|---|---|---|
192.168.64.130 | cdh01 | 关闭防火墙和SELinux,host映射,时钟同步 | JDK,NameNode,ResourceManager,Zookeeper |
192.168.64.140 | cdh02 | 关闭防火墙和SELinux,host映射,时钟同步 | JDK,NameNode,ResourceManager,Zookeeper |
192.168.64.150 | cdh03 | 关闭防火墙和SELinux,host映射,时钟同步 | JDK,NameNode,ResourceManager,Zookeeper |
2.创建本地 Yum 仓库
Yum 的好处:
- 安装方便
- Yum 安装的时候,目录和程序的组织形式比较像Linux
Yum 的弊端:外网有时不能访问服务器,下载慢
创建本地 Yum 仓库的目的是因为从远端的 Yum 仓库下载东西的速度实在是太渣, 然而 CDH 的所有组件几乎都要从 Yum 安装, 所以搭建一个本地仓库会加快下载速度
下载 CDH 的所有安装包
-
- 下载包(使用课程提供):
https://archive.cloudera.com/cdh6/6.2.1/parcels/
https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/
-
- 安装依赖包(三台服务器都安装)
yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python
-
- 安装 httpd( 安装在cdh01|部署本地yum源的机器上安装即可)
yum install httpd
yum install createrepo
# 要想使用http,将它作为Yum源,配置一个和官网里面一致的目录结构
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
# 服务器暂停
shutdown -h now