Cloudera-Manager5.14.0离线安装
Cloudera Manager是cloudera公司提供的一种大数据的解决方案，可以通过ClouderaManager管理界面来对我们的集群进行安装和操作，提供了良好的UI界面交互，使得我们管理集群不用熟悉任何的linux技术，只需要通过网页浏览器就可以实现我们的集群的操作和管理，让我们使用和管理集群更加的方便。
1、ClouderaManager整体架构
Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。
2、ClouderaManager环境安装前准备
准备两台虚拟机，其中一台作为我们的主节点，安装我们的ClouderaManager Server与ClouderaManager agent，另外一台作为我们的从节点只安装我们的clouderaManager agent
机器规划如下
所有机器统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/
2.1、两台机器更改主机名
第一台机器更改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01.hadoop.com
第二台机器更改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02.hadoop.com
2.2、更改主机名与IP地址的映射
两台机器更改hosts文件
vim /etc/hosts
192.168.52.100 node01.hadoop.com node01
192.168.52.110 node02.hadoop.com node02
2.3、两台机器关闭防火墙
service iptables stop
chkconfig iptables off
2.4、两台机器关闭selinux
vim /etc/selinux/config
SELINUX=disabled
2.5、两台机器安装jdk
将我们的jdk的压缩包上传到node01.hadoop.com的/export/softwares路径下
cd /export/softwares/
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /export/servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8
export PATH=:$JAVA_HOME/bin:$PATH
第二台机器同样安装jdk即可
scp -r /export/servers/jdk1.8 node02:/export/servers/
scp /etc/profile node02:/etc/
两台机器都执行：
source /etc/profile
2.6、两台机器实现SSH免密码登录
第一步：两台器生成公钥与私钥
两台机器上面执行以下命令，然后按下三个回车键即可生成公钥与私钥
ssh-keygen -t rsa
第二步：两台机器将公钥拷贝到同一个文件当中去
两台机器执行以下命令
ssh-copy-id node01.hadoop.com
第三步：拷贝authorized_keys到其他机器
第一台机器上将authorized_keys拷贝到第二台机器
scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh/
2.7、第二台机器安装mysql数据库
通过yum源，在线安装mysql
yum install mysql mysql-server mysql-devel
/etc/init.d/mysqld start
/usr/bin/mysql_secure_installation
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
2.8、解除linux系统打开文件最大数量的限制
两台机器都需要执行
vi /etc/security/limits.conf
# 添加以下内容
* soft noproc 11000
* hard noproc 11000
* soft nofile 65535
* hard nofile 65535
2.9、设置linux交换区内存
两台机器都要执行
执行命令
echo 10 > /proc/sys/vm/swappiness
并编辑文件sysctl.conf：
vim /etc/sysctl.conf
# 添加或修改
vm.swappiness = 0
两台机器都要执行：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
并编辑文件rc.local ：
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2.10、两台机器时钟同步
两台机器需要进行时钟同步操作，保证两台机器时间相同
执行命令：crontab -e
添加： */1 * * * * /usr/sbin/ntpdate ntp3.aliyun.com;
3、clouderaManager安装资源下载
3.1下载安装资源并上传到服务器
我们这里安装CM5.14.0这个版本，需要下载以下这些资源，一共是四个文件即可
下载cm5的压缩包
下载地址：http://archive.cloudera.com/cm5/cm/5/
具体文件地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
下载cm5的parcel包
下载地址：
http://archive.cloudera.com/cdh5/parcels/
第一个文件具体下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
第二个文件具体下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
第三个文件具体下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json
将这四个安装包都上传到第一台机器的/opt/softwares路径下
3.2 解压压缩包到指定路径
解压CM安装包到/opt路径下去
cd /export/softwares
tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/
3.3将我们的parcel包的三个文件拷贝到对应路径
将我们的parcel包含三个文件，拷贝到/opt/cloudera/parcel-repo路径下面去，并记得有个文件需要 重命名
cd /export/softwares/
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/
重命名这个文件
cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
3.4所有节点添加普通用户并给与sudo权限
在node01机器上面添加普通用户并赋予sudo权限
执行以下命令创建普通用户cloudera-scm
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
赋予cloudera-scm普通用户的sudo权限
vim /etc/sudoers
cloudera-scm ALL=(ALL) NOPASSWD: ALL
3.5更改主节点的配置文件
node01机器上面更改配置文件
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=node01.hadoop.com
3.6 将/opt目录下的安装包发放到其他机器
将第一台机器的安装包发放到其他机器
cd /opt
scp -r cloudera/ cm-5.14.0/ node02:/opt
3.7 创建一些数据库备用
node02机器上面创建数据库(mysql中)
hive 数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
hue 数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
oozie 数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3.8 准备数据库连接的驱动包
在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下
准备一份mysql的驱动连接包（驱动包重命名 ），放到/usr/share/java路径下去
cd /export/softwares/
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/softwares/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar
拷贝驱动包到第二台机器
cd /usr/share/java
scp mysql-connector-java.jar node02:$PWD
3.9 为clouderaManager创建数据库
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode02 -uroot -p123456 --scm-host node01 scm root 123456
命令说明：
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型
-h数据库主机
–u数据库用户名
–p数据库密码
–scm-host cm主机 数据库名称 用户名 密码
3.10 启动服务
主节点启动clouderaManager Server与ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
从节点node02启动ClouderaManager agent服务
3.11 浏览器页面访问
默认用户名admin
密码 admin