CDH 安装与部署

0.CDH介绍

  • ClouderaManager架构
Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机
Management Service:执行各种监控、报警和报告功能的一组角色的服务。 
Database:存储配置和监控信息 (元数据)
Cloudera Repository:可供Cloudera Manager分配的软件的存储库
Client:用于与服务器进行交互的接口
Admin Console:管理员控制台 
API:开发人员使用 API可以创建自定义的Cloudera Manager应用程序

1.Linux 虚拟机基础环境(-SQL 安装完)

基础环境准备

IP 主机名 环境配置 安装
192.168.64.130 cdh01 关闭防火墙和SELinux,host映射,时钟同步 JDK,NameNode,ResourceManager,Zookeeper
192.168.64.140 cdh02 关闭防火墙和SELinux,host映射,时钟同步 JDK,NameNode,ResourceManager,Zookeeper
192.168.64.150 cdh03 关闭防火墙和SELinux,host映射,时钟同步 JDK,NameNode,ResourceManager,Zookeeper

2.创建本地 Yum 仓库

Yum 的好处:
- 安装方便
- Yum 安装的时候,目录和程序的组织形式比较像Linux
Yum 的弊端:外网有时不能访问服务器,下载慢

创建本地 Yum 仓库的目的是因为从远端的 Yum 仓库下载东西的速度实在是太渣, 然而 CDH 的所有组件几乎都要从 Yum 安装, 所以搭建一个本地仓库会加快下载速度

下载 CDH 的所有安装包

    1. 下载包(使用课程提供):
https://archive.cloudera.com/cdh6/6.2.1/parcels/
https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/
    1. 安装依赖包(三台服务器都安装)
yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python
    1. 安装 httpd( 安装在cdh01|部署本地yum源的机器上安装即可)
yum install httpd
yum install createrepo
# 要想使用http,将它作为Yum源,配置一个和官网里面一致的目录结构
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
# 服务器暂停
shutdown -h now

生成 CDH 的 Yum 仓库

配置服务器, 在局域网共享仓库

3.安装 Zookeeper

4.安装 Hadoop

5.安装 MySQL

6.安装 Hive

7.安装 Kudu

8.安装 Impala

9.安装 Hue

猜你喜欢

转载自www.cnblogs.com/alidata/p/13394358.html