CDH 5.14.2 安装部署指南

业界资讯 2023-06-24 22:07:36 阅读次数: 0

前言

本文隶属于专栏《大数据安装部署》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

1. 准备三台虚拟机

请参考我的这篇博客安装大数据三节点伪分布式集群——三节点大数据环境安装详细教程

2. 准备 cloudera 安装包

由于是离线部署，因此需要预先下载好需要的文件。

本文需要的安装包已经拆分成 3 个压缩文件（因为 C 站单个资源最多支持 1000 MB），下载下面 3 个链接的压缩文件，放到同一个文件夹中，然后解压第一个文件就可以得到我们需要的安装包了。

CDH 5.14.2 安装包第一部分

CDH 5.14.2 安装包第二部分

CDH 5.14.2 安装包第三部分

需要准备的文件有:

  1. Cloudera Manager 5
  • 文件名: cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz
  1. CDH安装包（Parecls 包）
  • 版本号必须与 Cloudera Manager 相对应
  • 需要下面 3 个文件：
    • CDH-5.14.0-1.cdh5.14.0.p0.23-el7.parcel
    • CDH-5.14.0-1.cdh5.14.0.p0.23-el7.parcel.sha1
    • manifest.json
  1. MySQL JDBC 驱动
  • 文件名: mysql-connector-java-5.1.49.jar

将解压后的 CDH 目录上传到三个节点的 /root 目录下。

3. 所有机器安装依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

4. 安装mysql数据库

在第一台机器上安装 mysql 数据库

可以参考我的这篇博客来安装 mysql——CentOS7 安装 MySQL 5.7

5. 安装 cloudera 服务端

5.1 解压服务端管理安装包

所有节点上传cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz文件并解压

[root@node1 ~]# tar -zxvf cdh/cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz -C /opt/

[root@node2 ~]# tar -zxvf cdh/cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz -C /opt/

[root@node3 ~]# tar -zxvf cdh/cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz -C /opt/

解压完可以在 /opt 目录下看到文件

[root@node1 ~]# cd /opt/
[root@node1 opt]# ll
total 0
drwxr-xr-x  3 root root  19 Oct 11 20:00 bigdata
drwxr-xr-x  4 1106 4001  36 Apr  3  2018 cloudera
drwxr-xr-x  9 1106 4001  88 Apr  3  2018 cm-5.14.2
drwxr-xr-x. 8 root root 273 Oct  6 16:47 java
[root@node1 opt]# cd cloudera/
[root@node1 cloudera]# ll
total 0
drwxr-xr-x 2 1106 4001 6 Apr  3  2018 csd
drwxr-xr-x 2 1106 4001 6 Apr  3  2018 parcel-repo
[root@node1 cloudera]# cd ..
[root@node1 opt]# cd cm-5.14.2/
[root@node1 cm-5.14.2]# ll
total 0
drwxr-xr-x 7 1106 4001 104 Apr  3  2018 etc
drwxr-xr-x 5 1106 4001  89 Apr  3  2018 lib
drwxr-xr-x 3 1106 4001  17 Apr  3  2018 lib64
drwxr-xr-x 5 1106 4001  70 Apr  3  2018 log
drwxr-xr-x 3 1106 4001  33 Apr  3  2018 run
drwxr-xr-x 2 1106 4001  41 Apr  3  2018 sbin
drwxr-xr-x 3 1106 4001  17 Apr  3  2018 share

5.2 创建客户端运行目录

所有节点手动创建文件夹

[root@node1 ~]# mkdir /opt/cm-5.14.2/run/cloudera-scm-agent

[root@node2 ~]# mkdir /opt/cm-5.14.2/run/cloudera-scm-agent

[root@node3 ~]# mkdir /opt/cm-5.14.2/run/cloudera-scm-agent

5.3 创建 cloudera-scm 用户

所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

5.4 初始化数据库

将提供的 mysql 驱动包：mysql-connector-java-5.1.49.jar上传到 node1 的 /root/cdh 目录下，然后参考下面将 mysql jdbc 驱动放入相应位置:

[root@node1 cdh]# cp mysql-connector-java-5.1.49.jar /opt/cm-5.14.2/share/cmf/lib/

参考下面的命令初始化数据库（只需要在 Cloudera Manager Server：node1 节点执行）

[root@node1 cdh]# /opt/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql -h node1 -uroot -p'1qaz@WSX' --scm-host node1 scm scm '1qaz@WSX'
JAVA_HOME=/opt/java
Verifying that we can write to /opt/cm-5.14.2/etc/cloudera-scm-server
Thu Oct 13 21:56:25 CST 2022 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Creating SCM configuration file in /opt/cm-5.14.2/etc/cloudera-scm-server
Executing:  /opt/java/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.14.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.14.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
Thu Oct 13 21:56:26 CST 2022 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

脚本参数解释：
[数据库类型]
-h [数据库所在节点ip/hostname]
-u[数据库用户名]
-p[数据库密码]
–scm-host [Cloudera Manager Server节点ip/hostname]
[数据库]
[用户名]
[密码]

5.5 修改所有节点客户端配置

将其中的server_host参数修改为Cloudera Manager Server节点的主机名

[root@node1 ~]# vim /opt/cm-5.14.2/etc/cloudera-scm-agent/config.ini

在这里插入图片描述

5.6 上传CDH安装包

将如下文件放到 Server 节点：node1 的 /opt/cloudera/parcel-repo/ 目录中:

  • CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
  • CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1
  • manifest.json
[root@node1 cdh]# cp CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel /opt/cloudera/parcel-repo/
[root@node1 cdh]# cp CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/
[root@node1 cdh]# cp manifest.json /opt/cloudera/parcel-repo/

重命名sha1文件

[root@node1 parcel-repo]# mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha

5.7 更改安装目录用户组权限

所有节点更改 cdh 相关文件夹的用户及用户组

[root@node1 ~]# chown -R cloudera-scm:cloudera-scm /opt/cm-5.14.2
[root@node1 ~]# chown -R cloudera-scm:cloudera-scm /opt/cloudera

5.8 启动 Cloudera Manager 和 agent

Server 节点（也就是 node1 节点）

[root@node1 ~]# /opt/cm-5.14.2/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]

客户端需要在所有节点上启动

[root@node1 ~]# /opt/cm-5.14.2/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]
[root@node2 ~]# /opt/cm-5.14.2/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]
[root@node3 ~]# /opt/cm-5.14.2/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]

6. 服务安装

使用浏览器登录cloudera-manager的web界面,用户名和密码都是admin

在这里插入图片描述

登陆之后，在协议页面勾选接受协议,点击继续

在这里插入图片描述

选择免费版本，免费版本已经能够满足我们日常业务需求,选择免费版即可.点击继续

在这里插入图片描述

如下图，点击继续

在这里插入图片描述

如下图，点击当前管理的机器，然后选择机器，点击继续

在这里插入图片描述

如下图，然后选择你的parcel对应版本的包

在这里插入图片描述

点击后，进入安装页面，稍等片刻

如下图，集群安装中

在这里插入图片描述

如下图，安装包分配成功，点击继续

在这里插入图片描述

在这里插入图片描述

针对这样的警告，需要在每一台机器输入如下命令：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'vm.swappiness=10'>> /etc/sysctl.conf
sysctl vm.swappiness=10

echo never > /sys/kernel/mm/transparent_hugepage/defrag”

“echo never > /sys/kernel/mm/transparent_hugepage/enabled”

如下图，然后点击重新运行，不出以为，就不会在出现警告了，点击完成,进入hadoop生态圈服务组件的安装

在这里插入图片描述

如下图，选择自定义服务，我们先安装好最基础的服务组合。那么在安装之前，如果涉及到hive和oozie的安装，那么先去mysql中，自己创建数据库，并赋予权限；

因此：

create database hive;
create database oozie;

grant all on *.* to hive identified by '1qaz@WSX';
grant all on *.* to oozie identified by '1qaz@WSX';

如果出现如下错误:

mysql> grant all on *.* to oozie identified by '1qaz@WSX';
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)
mysql> update mysql.user set Grant_priv='Y',Super_priv='Y' where user = 'root' and host = 'localhost';
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> flush privileges;
mysql> quit
Bye
You have new mail in /var/spool/mail/root
[root@node02 ~]# systemctl restart mysqld.service
[root@node02 ~]# mysql -u root -p                
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.27 MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> grant all on *.* to hive identified by '1qaz@WSX';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> grant all on *.* to oozie identified by '1qaz@WSX';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql>

这样再安装软件！

那么，选择自定义服务,如果我们后续需要其他服务时我们在进行添加

在这里插入图片描述

然后点击继续，进入选择服务添加分配页面，分配即可

在这里插入图片描述

选择完成后服务，如下图,可以点击按照主机查看服务分部情况

在这里插入图片描述

在这里插入图片描述

点击继续后，如下图，输入mysql数据库中数数据库scm，用户名scm，密码1qaz@WSX,点击测试连接，大概等30s，显示成功，点击继续

在这里插入图片描述

一路点击继续,剩下的就是等待

在这里插入图片描述

如上图，如果等待时间过长，我们可以将manager所在机器(也就是node01)停止后把内存调整的大一些建议如果是笔记本4g以上，如果是云环境8g以上，我们这里先调整为4g以上，重新启node01机器后重新启动cloudera的server和agent

[root@node1 ~]# cd /opt/cm-5.14.2/etc/init.d
#启动server
[root@node1 init.d]# ./cloudera-scm-server start
#启动agent
[root@node1 init.d]# ./cloudera-scm-agent start

7. 重新登录cloudera manager

登录成功后，如下图，重新启动集群,接下来就是等待.

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/Shockang/article/details/127607485
今日推荐
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
“百模大战”必有一战 | 2024中国“百模大战”竞争格局分析
最强开源大模型 Llama 3 上架 Gitee AI
周排行
自媒体文章如何提高原创度以及如何检测原创度
开启qq邮箱的smtp服务
Qt程序单次启动（QSingleApplication类）
国外的外包网站
更新IDEA主题——放飞代码风格
cocos2dx 实现搓牌效果（翻牌效果），包括铺平动画
dict和json之间的互相转换
angular的一些思考
. Fibonacci数列是这样定义的： F[0] = 0 F[1] = 1 for each i ≥ 2: F[i] = F[i-1] + F[i-2] 因此，Fibonacci数列就形如：0, 1
洛谷P1064 金明的预算方案
每日归档
更多
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)
2024-04-17(5)
2024-04-16(70)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022