搭建Cloudera Manager环境

本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。

一、环境准备（在所有机器上操作）

二、集群时间服务器

三、MySQL的安装部署（在hadoop.cm01上安装即可）

四、Cloudera Manager的安装

五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）

六、配置CM访问数据库的权限，添加一个temp用户

七、配置CDH源

八、启动CM进程服务

一、环境准备（在所有机器上操作）

准备软件环境：

-》parcels库

下载地址：http://archive.cloudera.com/cdh5/parcels/5.12.0/

注意：parcel文件+校验码文件parcel.sha1

-》cloudera manager 安装包

下载地址： http://archive.cloudera.com/cm5/cm/5/

注意：对应的centos版本，注意centos7,centos6使用el6/el5都可以

查看系统空间的使用情况等

配置ip、主机名、主机映射等（重启生效！！）

禁用ipv6（重启生效！！）

# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux（重启生效！！）

# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

# vi /etc/sysconfig/selinux

ssh免秘钥登录

# ssh-keygen

# ssh-copy-id 主机名01

# ssh-copy-id 主机名02

# ssh-copy-id 主机名03

安装JDK

修改用户可用的最大服务器资源限制（重启生效！！）

# ulimit -a

# vi /etc/security/limits.conf

*               soft    nofile          32728
*               hard    nofile          1024567
*               soft    nproc           65535
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited

二、集群时间服务器

选择一台服务器作为集群的时间服务器，这里我选择第一台，即：hadoop.cm01

在hadoop.cm01上修改配置文件

# vi /etc/ntp.conf

server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10

在所有机器上执行命令：

# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间，与网络时间同步：

# ntpdate -u us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间：

# hwclock --localtime //查看本地硬件时钟时间

# hwclock --localtime -w //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步：

# vi /etc/sysconfig/ntpdate

SYNC_HWCLOCK=yes

# vi /etc/sysconfig/ntpd
SYNC_HWCLOCK=yes

除了hadoop.cm01之外的服务器制定一个crontab定时任务，定时向本集群同步时间

重启生效：# service crond restart

三、MySQL的安装部署（在hadoop.cm01上安装即可）

选用MySQL5.6版本的，使用yum源安装默认是5.1的版本，需要修改yum源

检查是否自带的安装包

rpm -qa |grep mysql

卸载安装包

rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

安装mysql

yum -y install mysql-server

启动mysql

service mysqld start

设置密码

/usr/bin/mysqladmin -u root password '123456'

设置开机自启动

chkconfig mysqld on

登陆

mysql -uroot -p123456

四、Cloudera Manager的安装

首先在所有的服务器上安装第三方依赖包

# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录：

# mkdir -p /opt/cloudera-manager //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下：

# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager/

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent //agent配置文件目录

# vi config.ini（所有服务器上都改为下图所示）

五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）

# useradd --system 表示创建的是系统用户
--home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server 指定了用户的主目录
--no-create-home 表示不再创建用户的主目录
--shell=/bin/false 不作为登陆用户
--comment "Cloudera SCM User"
cloudera-scm 用户名

验证：
# cat /etc/passwd | grep cloudera-scm