前言
以前部署hadoop集群,一直使用cloudera提供的tarball部署安装,今天尝试使用CM在新机器部署hadoop,因为使用它使用起来简单方便,并且提供了一系列的监控功能.但由于CM的安装是要联网的,而且cloudera还在中国没有源,所以安装过程非常的慢,而且失败率很高(网络不好的同学相信很有体会).所以自己摸索着搭建一个本地源,用于CM的安装.记录如下
环境:
品牌机PC6台,4核/11G内存/400G硬盘,Centos6.4.
一台能联网的PC,作用:下载数据包,搭建源环境.
机器host如下,其中232用作源服务器,不作为集群机使用.由于233机器出了问题,所以只能装6台,
准备:
1.CM的安装必须使用root帐户,并且要关闭SElinux和防火墙
关闭SELinux的方法：
修改/etc/selinux/config文件中的SELINUX="" 为 disabled ，然后重启。
关闭防火墙:
/sbin/service iptables stop
cloudera manager server 依赖的包 postgresql-server,postgresql,postgresql-libs
每个agent依赖的包fuse-libs,fuse,redhat-lsb
这些依赖必须先装上.可使用rpm -qa 包名 查看是否已安装.
2.下载文件
1.首先下载安装CM的bin文件,下载地址
http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
2.下载cloudera-manager依赖的rpm文件
不同的操作系统对应不同rpm文件,Centos6对应的下载地址是
http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/
建议使用linux 的wget下载,可以把以上整个目录和目录包含的文件一次性下载.
wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
-r表示递归下载, --no-parent表示不下载父目录文件
3.下载Hadoop集群所需要的rpm包
CM4整个安装过程,依赖4个组件,分别是manager,cdh4,impala和solr,所以需要把这4个组件所依赖的rpm包都下载,
不同的操作系统对应不同rpm文件,所以需要根据自己的操作系统选择对应的下载目录.
cdh4对应的下载地址: http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/
impala对应的下载地址: http://archive.cloudera.com/impala/redhat/6/x86_64/impala/1/
solr对应的下载地址: http://archive.cloudera.com/search/redhat/6/x86_64/search/1/
(manager相关rpm包在上一步已下载)
建议以上文件都使用wget方法下载(下载过程会比较漫长…)
下载方法:
如我下载的文件放在/data1/CDH目录下,对应先建立4个文件夹cdh4,impala,manager和solr
如下载manager,先进入manager目录
cd manager
wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
下载后manager的目录结构如下:
其它三个文件组件使用同样的下载方法
4.部署http服务.
在232机器上安装http服务
yum install httpd (如不能使用yum,可使用安装包安装)
安装完成后启动httpd服务
/sbin/service httpd start
在浏览器访问http:// 10.108.74.232 可看到带有apache图标的页面则安装成功
在/var/www/html 目录上建立软连接,分别连向下载好的rpm包目录.
cd /var/www/html
mkdir cm4
ln –s /data1/CDH/manager/archive.cloudera.com/cm4/redhat/ ./cm4
mkdir cdh4
ln –s /data1/CDH/cdh4/archive.cloudera.com/cdh4/redhat/ ./cdh4
mkdir impala
ln –s /data1/CDH/impala/archive.cloudera.com/impala/redhat/ ./ impala
mkdir search
ln –s /data1/CDH/solr/archive.cloudera.com/search/redhat/ ./ search
这样源服务器就搭建好了.
开始安装:
环境已经搭建完成.可以开始安装
选择集群中其中一台机器安装manager server.我选择了235
执行bin文件安装
./ cloudera-manager-installer.bin
一路Next,所有组件都是几秒内安装完成^ ^
至此,manager服务已经安装成功.浏览器访问http://10.108.74.235:7180,打开登录页面,用户名密码都是admin/admin
一路安装至完成.^^