CDH部署

一、环境准备

三台(或多台服务器均配置)

a、相同JDK版本(安装路径,环境变量配置均保持一致)

b、网络配置完成,可相互ping通

ip等网络配置

vim /etc/sysconfig/network-scripts/ifcfg-eth0

hosts配置

vim /etc/hosts

c、关闭防火墙

service iptables stop

d、SSH互相免秘钥登录

ssh-keygen -t dsa		//给出提示后全部直接回车
ssh-copy-id node01		//node01为要免密登录的目标地址
或:ssh-copy-id -i ~/.ssh/id_dsa.pub node01

e、SELINUX关闭

vim /etc/selinux/config
设置SELINUX=disabled

f、时间同步(ntpdate)

yum -y install ntpdate
ntpdate cn.ntp.org.cn
也可直接设置开机自动同步:chkconfig ntpdate on

g、安装配置mysql

说明:非server端可不用安装mysql

yum -y install mysql-server mysql-devel
service mysqld start
mysqladmin -u root  password 123456		//修改密码,可暂不修改
mysql -u root -p 123456 	//若没设置密码直接123456不写
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;			//进入mysql执行
flush privileges;

h、下载第三方依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

以上环境配置好后,建议拍快照,防止后续出错重新配置

二、安装

说明:server和agent端安装方式步骤有差别,需注意

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

1、安装Cloudera Manager Server、Agent(Server、Agent)

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户cloudera-scm(Server、Agent)

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置CM Agent(Server、Agent)

vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

设置server_host是哪台节点

4、配置CM Server数据库node01(Server)

拷贝mysql-connector-java.jar到 /usr/share/java/下,注意名字要改为这个mysql-connector-java.jar

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm

5、创建Parcel目录

Server节点:

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点:

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、制作CDH本地源(Server)

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,将这两个文件放到server节点的/opt/cloudera/parcel-repo下。

打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀(如:CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha),将hash码复制到文件中保存在当前目录下

7、启动(Server、Agent)

启动前进行:echo 0 > /proc/sys/vm/swappiness

此步骤不配置不影响目前安装,但后续需要配置,直接在此配置好

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装
./cloudera-scm-agent start

8、访问server节点的7180端口

用户名:admin

密码:admin

在这里插入图片描述

如上界面,则安装成功(建议拍快照,后进行后续登录后的安装配置)

猜你喜欢

转载自blog.csdn.net/qq_38524532/article/details/86556915