CDH 安装 记录

准备步骤如下:

第一步

首先准备三台机器,形成集群最少的台数。

例如ip地址为:192.2.1.1、192.2.1.2、192.2.1.3

192.2.1.1为master节点,其他作为节点

第二步

ssh免密登录 我认为最简单的方式是 在每个机器上执行 ssh key-gen -t rsa 之后,会在/root/.ssh的目录下生成 id_rsa.pub 和id_rsa 创建 authorized_keys 把几台机器的id_rsa.pub 全部 放进去 ,然后 开放权限 chmod +x authorized_keys.再把authorized_keys放在所有节点机器上面。

第三步

准备材料:

下载Cloudera Manager安装包 

地址:http://archive.cloudera.com/cm5/cm/5/

下载包样式:cloudera-manager-centos7-cm5.14.2_x86_64.tar

版本自己选择

下载CDH、一共三个东西需要在

下载地址:http://archive.cloudera.com/cdh5/  然后进入parcel

下载包样式:CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel

manifest.json

特别注意:而且需要注意的是CDH的版本需要等于或者小于Cloudera Manager的版本

第四步

安装jdk 这个教程自己百度,比较简单

第五步

关闭防火墙和SElinux 百度一下也比较简单

第六步

下载mysql 的驱动包

https://dev.mysql.com/downloads/connector/j/ 进入后选择platform independent下载 zip后缀包

然后解压 主要是后面需要里面的一个jar包

第七步

每个节点进行时间的同步

第八步

安装mysql,我用的是docker 没有在机器上安装。我是直接装到master机器上面的,你们如果有可以用的mysql也可以不用安装

如果要自己安装的话就百度一下。

注意安装好后就需要 创建 几个表 hive amon hue oozie
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

正式开始安装步骤如下:

提示:已下内容默认为在主机上面操作,除非提示其他节点时才是在其他节点操作。

第一步

解压下载的CM包,我是解压到  /opt路径下。建议解压到 空间大的路径下面。

第二步

修改 /opt/cm-5.8.2/etc/cloudera-scm-agent/config.ini中的server_host
为主节点的主机名。 (hostname)

第三步

解压刚刚下载的mysql zip把里面的jar包 复制到 /opt/cm-5.14.2/share/cmf/lib 路径下

第四步

主节点修改agent配置文件。

vim  /opt/cm-5.8.2/etc/cloudera-scm-agent/config.ini

修改其中的server_host=hadoop180主节点的主机名 我的master节点 主机名修改成了 hadoop180.

第五步

把主节点的cm-5.14.2 远程发到其它的子节点

执行以下命令:

scp -r cm-5.14.2 hadoop181:/opt  scp -r cm-5.14.2 hadoop182:/opt 

第六步

把CDH5需要的安装文件放到主节点上,新建目录为
/opt/cloudera/parcel-repo
把我们之前下载的三个文件放到这个目录下
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json

需要注意的是
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1需要重命名成CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha

第七步

在主节点初始化CM5的数据库

执行命令

/opt/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm  -h hadoop180(master主机名)  -u  root  -p 123456(刚刚准备步骤中的MySQL密码和账号) --scm-host  hadoop180(master主机名) scm scm scm

参数说明
mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。
-hhadoop1:数据库建立在hadoop1主机上面。也就是主节点上面。
-uroot:root身份运行mysql。-123456:mysql的root密码是***。
--scm-host hadoop1:CMS的主机,一般是和mysql安装的主机是在同一个主机上。
最后三个参数是:数据库名,数据库用户名,数据库密码。
 

注意:

如果mysql是docker的话 需要在对应端口时用 --net=host
如果出现 权限问题,需要在mysql这个库名下面执行,重点是在名字为mysql这个数据库下面去执行


GRANT ALL PRIVILEGES ON *.* TO 'root'@'需要放开权限的服务器ip或者host名(必须在本地电脑也配置)' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES;

第八步

为保证不出现安装时报主机状况不良情况

需要删除 rm -f /opt/cm-5.14.2/lib/cloudera-scm-agent/cm_guid

第九步

启动 cm 和agent

/opt/cm-5.8.2/etc/init.d/cloudera-scm-server start 启动主节点
/opt/cm-5.8.2/etc/init.d/cloudera-scm-agent start 从节点
启动agent失败的时候 用 ps -ef | grep supervisord 杀掉整个进程

注意这儿要所有的agent服务都启动了才行。不然监测不到后面安装会出现异常 选不到主机

第十步

进入页面 登录 

ip:7180/cmf/login  admin  admin

第十一步

  1. 同意条款 点击继续
  2. 然后就是 主机选择 
  3. jdk跳过 不选,用自己的就行
  4. 选择使用 parcel安装 点击继续安装,这儿如果没有parcel的话需要 检查一下CDH的三个文件是否按照操作放到了规定的路径下面,一般可能是名称未修改或者文件名字错误了
  5. 安装出现 主机状况不良的话  rm -f /opt/cm-5.14.2/lib/cloudera-scm-agent/cm_guid 执行这个 然后重启 agent的每个节点
  6. 然后选择自己要安装的组件

参照 :https://blog.csdn.net/HFUTLXM/article/details/77605636?locationNum=1&fps=1#t2

猜你喜欢

转载自blog.csdn.net/liaoxiaolin520/article/details/88014807