CDH6.2.0集群搭建

其他 2021-03-27 23:51:00 阅读次数: 0

1、准备工作

1.1 首先我们要准备三台centos7机器，这三台centos7机器的ip、hostname分别为

IP hostname
192.168.1.25 master
192.168.1.26 slave01
192.168.1.27 slave02

在这里插入图片描述
注：这三台机器都要求可以访问外网

1.2 使用到的工具版本说明

centos版本：CentOS-7.4-x86_64-DVD-1708.iso
Clouder Manage版本：6.2.0
CDH parcel版本：6.2.0
JDK版本：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
MySQL版本：5.7

下载地址：
Clouder Manager
CDH parcel

2、节点服务器配置

2.1 hostname设置

# master节点
hostnamectl set-hostname master

# slave01节点
hostnamectl set-hostname slave01

# slave02节点
hostnamectl set-hostname slave02

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述

2.2 /etc/hosts设置

vi /etc/hosts

192.168.1.25 master
192.168.1.26 slave01
192.168.1.27 slave02

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述

2.3 关闭防火墙

# 查看状态
firewall-cmd --state

# 停止firewall
systemctl stop firewalld.service

# 禁止firewall开机启动
systemctl disable firewalld.service

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述

2.3 关闭selinux

# 修改selinux
vi /etc/selinux/config

SELINUX=disabled

master节点：
在这里插入图片描述
在这里插入图片描述
slave01节点、slave02节点同master节点一样的操作。

2.3 三台机器免密登录设置

# 创建私钥
ssh-keygen -t rsa  

# 将创建私钥copy到master节点
ssh-copy-id root@master

# 将创建私钥copy到slave01节点
ssh-copy-id root@slave01

# 将创建私钥copy到slave02节点
ssh-copy-id root@slave02

master节点：
在这里插入图片描述
在这里插入图片描述
测试
在这里插入图片描述
slave01节点、slave02节点同master节点一样的操作。

3、安装CDH

3.1 在master、slave01、slave02三个节点都执行以下语句，创建相关目录

mkdir -p /data/software/
mkdir -p /data/software/jdk\&cm/
mkdir -p /data/software/mysql/
mkdir -p /data/software/parcel/

在这里插入图片描述

3.2 将对应的安装文件上传到对应的目录下(三个节点都要操作)

/data/software/jdk&cm目录下：
在这里插入图片描述
/data/software/parcel目录下：
在这里插入图片描述
/data/software/mysql目录：
在这里插入图片描述
/data/software/目录下：
在这里插入图片描述

3.3 安装Clouder Manage

3.3.1 新建目录/etc/yum.repos.d/，将/data/software/目录下的cloudera-manager.repo文件，copy到/etc/yum.repos.d/目录下，

mv /data/software/cloudera-manager.repo /etc/yum.repos.d/

3.3.2 进入到/data/software/jdk&cm/目录中，

# 查看待安装的cloudear的版本
yum list | grep cloudera

# 执行安装命令(同时安装jdk、cloudear manager)
yum -y install *.rpm

在这里插入图片描述
下图显示cloudera-manager-daemons、cloudera-manager-server安装失败，
在这里插入图片描述
重新安装cloudera-manager-daemons、cloudera-manager-server

# 安装 cloudera-manager-daemons(masters、lave01、slave02节点不需要安装)
yum -y install cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

# 安装 cloudera-manager-server(master节点需要安装，slave01、slave02节点不需要安装)
yum -y install cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

在这里插入图片描述
在这里插入图片描述
slave01、slave02同样方式安装cloudera manager,只是不需要安装cloudera-manager-server。

3.3.3 配置java 环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

master节点:
在这里插入图片描述
slave01、slave02节点同样的操作。
在这里插入图片描述
在这里插入图片描述

3.3.4 安装mysql数据库(只需要master节点安装mysql,slave01、slave02不需要安装)

进入到/data/software/mysql/目录，参考Centos7服务器上在线安装mysql5.7进行安装

mysql安装完成后，在数据库中执行以下语句：

CREATE DATABASE  scm CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

CREATE DATABASE  amon CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

CREATE DATABASE  rman CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';

CREATE DATABASE  hue CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';

CREATE DATABASE  metastore CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';

CREATE DATABASE  sentry CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';

CREATE DATABASE  nav CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';

CREATE DATABASE  navms CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';

CREATE DATABASE  oozie CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

在这里插入图片描述
查看数据库：
在这里插入图片描述

3.3.4 新建目录mkdir -p /usr/share/java/，将/data/software/mysql/目录下的mysql驱动包:mysql-connector-java-5.1.44.jar重命为mysql-connector-java.jar,然后copy到/usr/share/java/目录下(三个节点都要执行)

mkdir -p /usr/share/java/

cp /data/software/mysql/mysql-connector-java-5.1.44.jar /data/software/mysql/mysql-connector-java.jar

cp /data/software/mysql/mysql-connector-java.jar /usr/share/java/

3.3.5 在master节点执行以下语句，配置scm server数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

在这里插入图片描述

4、CDH集群配置

4.1 启动scm server

# 启动scm-agent(所有节点)
systemctl stop cloudera-scm-agent
# 启动scm-server(master节点)
systemctl start cloudera-scm-server

# 查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

在这里插入图片描述
启动服务后，在日志中看到以下内容就表示启动成功了

2020-10-27 08:13:31,567 INFO WebServerImpl:org.eclipse.jetty.server.Server: Started @142030ms
2020-10-27 08:13:31,567 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

在这里插入图片描述

4.2 浏览器中访问http://master:7180/进入到cloudear manager界面,用户名admin,密码admin,登录

在这里插入图片描述

4.3 登录后进行集群配置

直接点继续
在这里插入图片描述
勾选“是的”，然后点继续
在这里插入图片描述
选择“免费”，点继续
在这里插入图片描述
继续
在这里插入图片描述
填写集群名子后，点继续
在这里插入图片描述
如下图输入主机名，点搜索，然后点继续
在这里插入图片描述
进入如下图界面，这里可以看到选听cdh版本与我们安装的版本不一致，
在这里插入图片描述
点击上图中的“更多选项”，查看“Parcel 存储库设置”，其中本地 Parcel 存储库路径为“/opt/cloudera/parcel-repo”
在这里插入图片描述
解决方法是我们需要将/data/software/parcel/目录下的文件copy到/opt/cloudera/parcel-repo/止录下（三个节点都要执行这个操作），然后重启

mkdir -p /opt/cloudera/parcel-repo
cd /data/software/parcel/
cp -r ./* /opt/cloudera/parcel-repo/

在这里插入图片描述
在这里插入图片描述
上面操作完成后，选停止服务，然后再启动服务，刷新页面，如下图就可以看到与我们安装版本一致的版本了，然后勾选，点继续
在这里插入图片描述
如下图，jdk我们已经安装过了，所以不勾选，直接点继续
在这里插入图片描述
输入密码，点继续
在这里插入图片描述
安装完成后，点继续
在这里插入图片描述

如下图，选最下面一项，然后点继续
在这里插入图片描述
如下图勾选"自定义"，然后勾选，要安装的组件，然后点继续
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
填写相关数据库的名称、用户名、密码，点连接测试，测试成功后，点继续
在这里插入图片描述
点继续
在这里插入图片描述
点继续
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/ytangdigl/article/details/109277830
今日推荐
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
OOP第二次作业
java web 乱码问题
android 禁止scrollview 因控件变化自动滚动到底的方法
mysql服务解压版的安装(5.7)
centos7 nginx+tomcat配置https 安装免费SSL Let’s Encrypt
使用Mosquitto遗嘱机制实现感知客户端上下线功能的方法
面向对象之------多态与多态性
开发Teams Tabs应用程序
C# 希尔排序
第2章 Jupyter Notebooks
每日归档
更多
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022